ChatGLM-6B 自 3 月發(fā)布以來(lái)，在 AI 社區(qū)爆火，GitHub 上已斬獲 29.8k 星。

如今，第二代 ChatGLM 來(lái)了！

清華 KEG 和數(shù)據(jù)挖掘小組發(fā)布了中英雙語(yǔ)對(duì)話模型 ChatGLM2-6B。

最新版本 ChatGLM2-6B 增加了許多特性:

- 基座模型升級(jí)，性能更強(qiáng)大

- 支持 8K-32k 的上下文

- 推理性能提升了 42%

- 對(duì)學(xué)術(shù)研究完全開(kāi)放，允許申請(qǐng)商用授權(quán)

值得一提的是，在中文 C-Eval 榜單中，ChatGLM2 以 71.1 分位居榜首，碾壓 GPT-4。而最新版本 ChatGLM2-6B 以 51.7 分位列第 6。

ChatGLM2-6B 升級(jí)亮點(diǎn)

ChatGLM-6B 的第二代版本，在保留了初代模型對(duì)話流暢、部署門(mén)檻較低等眾多優(yōu)秀特性的基礎(chǔ)之上，又增加許多新特性:

1. 更強(qiáng)大的性能

基于 ChatGLM 初代模型的開(kāi)發(fā)經(jīng)驗(yàn)，全面升級(jí)了 ChatGLM2-6B 的基座模型。

ChatGLM2-6B 使用了 GLM 的混合目標(biāo)函數(shù)，經(jīng)過(guò)了 1.4T 中英標(biāo)識(shí)符的預(yù)訓(xùn)練與人類(lèi)偏好對(duì)齊訓(xùn)練.

評(píng)測(cè)結(jié)果顯示，與初代模型相比，ChatGLM2-6B 在 MMLU、CEval(+33%)、GSM8K(+571%) 、BBH(+60%)等數(shù)據(jù)集上的性能取得了大幅度的提升，在同尺寸開(kāi)源模型中具有較強(qiáng)的競(jìng)爭(zhēng)力。

2. 更長(zhǎng)的上下文

基于 FlashAttention 技術(shù)，研究人員將基座模型的上下文長(zhǎng)度由 ChatGLM-6B 的 2K 擴(kuò)展到了 32K，并在對(duì)話階段使用 8K 的上下文長(zhǎng)度訓(xùn)練，允許更多輪次的對(duì)話。

但當(dāng)前版本的 ChatGLM2-6B 對(duì)單輪超長(zhǎng)文檔的理解能力有限，會(huì)在后續(xù)迭代升級(jí)中著重進(jìn)行優(yōu)化。

3. 更高效的推理

基于 Multi-Query Attention 技術(shù)，ChatGLM2-6B 有更高效的推理速度和更低的顯存占用.

在官方的模型實(shí)現(xiàn)下，推理速度相比初代提升了 42%，INT4 量化下，6G 顯存支持的對(duì)話長(zhǎng)度由 1K 提升到了 8K。

4. 更開(kāi)放的協(xié)議

ChatGLM2-6B 權(quán)重對(duì)學(xué)術(shù)研究完全開(kāi)放，在獲得官方的書(shū)面許可后，亦允許商業(yè)使用。

效果

相比于初代模型，ChatGLM2-6B 在多個(gè)維度的能力上，都取得了巨大的提升。

數(shù)理邏輯

知識(shí)推理

長(zhǎng)文檔理解

評(píng)測(cè)結(jié)果

研究團(tuán)隊(duì)選取了部分中英文典型數(shù)據(jù)集進(jìn)行了評(píng)測(cè)，以下為 ChatGLM2-6B 模型在 MMLU、C-Eval(中文)、GSM8K(數(shù)學(xué))、BBH 上的測(cè)評(píng)結(jié)果。

MMLU

C-Eval

GSM8K

BBH

推理性能

ChatGLM2-6B 使用 Multi-Query Attention，提高了生成速度。生成 2000 個(gè)字符的平均速度對(duì)比如下:

Multi-Query Attention 同時(shí)也降低了生成過(guò)程中 KV Cache 的顯存占用。

此外，ChatGLM2-6B 采用 Causal Mask 進(jìn)行對(duì)話訓(xùn)練，連續(xù)對(duì)話時(shí)可復(fù)用前面輪次的 KV Cache，進(jìn)一步優(yōu)化了顯存占用。

因此，使用 6GB 顯存的顯卡進(jìn)行 INT4 量化的推理時(shí)，初代的 ChatGLM-6B 模型最多能夠生成 1119 個(gè)字符就會(huì)提示顯存耗盡，而 ChatGLM2-6B 能夠生成至少 8192 個(gè)字符。

研究團(tuán)隊(duì)也測(cè)試了量化對(duì)模型性能的影響。結(jié)果表明，量化對(duì)模型性能的影響在可接受范圍內(nèi)。

使用方法

環(huán)境安裝

首先需要下載本倉(cāng)庫(kù):

然后使用 pip 安裝依賴(lài):pip install -r requirements.txt，其中 transformers 庫(kù)版本推薦為 4.30.2，torch 推薦使用 2.0 以上的版本，以獲得最佳的推理性能。

代碼調(diào)用

可以通過(guò)如下代碼調(diào)用 ChatGLM2-6B 模型來(lái)生成對(duì)話:

gt;fromtransformersimportAutoTokenizer,AutoModel

gt;

1.制定規(guī)律的睡眠時(shí)間表保持規(guī)律的睡眠時(shí)間表可以幫助你建立健康的睡眠習(xí)慣使你更容易入睡。盡量在每天的相同時(shí)間上床并在同一時(shí)間起床。2.創(chuàng)造一個(gè)舒適的睡眠環(huán)境確保睡眠環(huán)境舒適安靜黑暗且溫度適宜?？梢允褂檬孢m的床上用品并保持房間通風(fēng)。3.放松身心在睡前做些放松的活動(dòng)例如泡個(gè)熱水澡聽(tīng)些輕柔的音樂(lè)閱讀一些有趣的書(shū)籍等有助于緩解緊張和焦慮使你更容易入睡。4.避免飲用含有咖啡因的飲料咖啡因是一種刺激性物質(zhì)會(huì)影響你的睡眠質(zhì)量。盡量避免在睡前飲用含有咖啡因的飲料例如咖啡茶和可樂(lè)。5.避免在床上做與睡眠無(wú)關(guān)的事情在床上做些與睡眠無(wú)關(guān)的事情例如看電影玩游戲或工作等可能會(huì)干擾你的睡眠。6.嘗試呼吸技巧深呼吸是一種放松技巧可以幫助你緩解緊張和焦慮使你更容易入睡。試著慢慢吸氣保持幾秒鐘然后緩慢呼氣。如果這些方法無(wú)法幫助你入睡你可以考慮咨詢(xún)醫(yī)生或睡眠專(zhuān)家尋求進(jìn)一步的建議。從本地加載模型

在從 Hugging Face Hub 下載模型之前，需要先安裝 Git LFS，然后運(yùn)行:

如果 checkpoint 的下載速度較慢，可以只下載模型實(shí)現(xiàn):

然后，手動(dòng)下載模型參數(shù)文件，并將文件替換到本地的 chatglm2-6b 目錄下。

模型下載到本地之后，將以上代碼中的 THUDM / chatglm2-6b 替換為本地的 chatglm2-6b 文件夾的路徑，即可從本地加載模型。

參考資料:

廣告聲明:本文含有的對(duì)外跳轉(zhuǎn)鏈接，用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考。IT之家所有文章均包含本聲明。

免責(zé)聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，僅代表作者個(gè)人觀點(diǎn)，與本網(wǎng)無(wú)關(guān)。僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。