應(yīng)該有人敢挑戰(zhàn)GPT—3的壟斷地位！

GPT—3自問(wèn)世以來(lái)已經(jīng)成為最大的AI語(yǔ)言模型之一。

不僅可以為Python深度學(xué)習(xí)寫郵件，寫文章，創(chuàng)建網(wǎng)站，甚至生成代碼。

最近，一個(gè)侏羅紀(jì)模型聲稱能夠擊敗GPT—3。

誰(shuí)這么有勇氣，居然敢喊。

不是侏羅紀(jì)公園的恐龍！是侏羅紀(jì)—1 Jumbo，還在測(cè)試中！

現(xiàn)在，您還可以免費(fèi)體驗(yàn)它:

除了能夠?qū)ython代碼轉(zhuǎn)換成Javascript之外，這種語(yǔ)言模型還有什么了不起的。

大膽，但強(qiáng)大

在機(jī)器學(xué)習(xí)中，參數(shù)是模型的一部分，從歷史訓(xùn)練數(shù)據(jù)中學(xué)習(xí)。

一般來(lái)說(shuō)，在語(yǔ)言領(lǐng)域，參數(shù)越多，模型越復(fù)雜。

侏羅紀(jì)—1巨型模型包含1780億個(gè)參數(shù)。

突然之間，GPT—3有了30億個(gè)參數(shù)！

GPT有5萬(wàn)個(gè)詞匯項(xiàng)目。

可是，侏羅紀(jì)—1可以識(shí)別25萬(wàn)個(gè)表情，單詞和短語(yǔ)。

覆蓋范圍比包括GPT—3在內(nèi)的大多數(shù)現(xiàn)有型號(hào)都大。

侏羅紀(jì)—1模型已經(jīng)過(guò)云訓(xùn)練，一個(gè)公共服務(wù)上有幾百個(gè)分布式GPU。

Token是一種在自然語(yǔ)言中將文本片段分成更小單元的方法，這些單元可以是單詞，字符或單詞的一部分。

侏羅紀(jì)—1訓(xùn)練數(shù)據(jù)集有3000億個(gè)token，都是從維基百科，新聞出版物，StackExchange等英文網(wǎng)站編譯而來(lái)。

模型的訓(xùn)練采用傳統(tǒng)的自監(jiān)測(cè)和自回歸形式，從公共資源中訓(xùn)練3000億代幣。

在優(yōu)化程序方面，研究人員對(duì)J1—Large和J1—Jumbo分別使用了1.2次10—4和0.6倍，10—4，批量大小為200萬(wàn)和320萬(wàn)代幣

每個(gè)字節(jié)的平均對(duì)數(shù)概率表明該模型在不同領(lǐng)域的適用性

研究人員說(shuō)，在幾乎所有的語(yǔ)料庫(kù)中，侏羅紀(jì)—1模型都領(lǐng)先于GPT—3。

在小樣本學(xué)習(xí)的測(cè)試上，各有輸贏，但兩個(gè)模型的平均分是相等的。

在基準(zhǔn)測(cè)試中，侏羅紀(jì)1號(hào)在回答學(xué)術(shù)和法律問(wèn)題上的表現(xiàn)與GPT 3號(hào)相當(dāng)，甚至更好。

GPT—3需要11個(gè)令牌，而侏羅紀(jì)—1只需要4個(gè)令牌，大大提高了樣本效率。

當(dāng)然，對(duì)于語(yǔ)言模型來(lái)說(shuō)，最難的問(wèn)題是邏輯和數(shù)學(xué)。

而侏羅紀(jì)—1 Jumbo可以解決兩個(gè)大數(shù)相加這個(gè)非常簡(jiǎn)單的算術(shù)問(wèn)題。

侏羅紀(jì)可以解釋一個(gè)詞的意思

面對(duì)各種語(yǔ)言模式，侏羅紀(jì)—1 Jumbo只能算是后起之秀，并不是什么新奇的模式。

但是和它的前輩類似，如果問(wèn)題不清楚，大概率的答案不是你想要的。

堪稱產(chǎn)品經(jīng)理的終結(jié)者。

即使是自己的人在有偏見(jiàn)時(shí)也會(huì)戰(zhàn)斗

侏羅紀(jì)—1模型由AI21實(shí)驗(yàn)室開(kāi)發(fā)，將通過(guò)AI21實(shí)驗(yàn)室的Studio平臺(tái)提供服務(wù)。

開(kāi)發(fā)人員可以在公共測(cè)試版中構(gòu)建應(yīng)用程序原型，如虛擬代理和聊天機(jī)器人。

此外，在公測(cè)版中，侏羅紀(jì)—1模型和Studio也可以用于解釋和總結(jié)，例如從產(chǎn)品描述中生成簡(jiǎn)短的產(chǎn)品名稱。

根據(jù)內(nèi)容對(duì)新聞進(jìn)行分類

同時(shí)，開(kāi)發(fā)者也可以訓(xùn)練自己的侏羅紀(jì)—1模型，甚至只需要50—100個(gè)訓(xùn)練實(shí)例。

經(jīng)過(guò)培訓(xùn)，可以通過(guò)AI21 Studio使用這個(gè)自定義模型。

可是，《侏羅紀(jì)—1》也面臨著其他語(yǔ)言模式的痛點(diǎn):對(duì)性別，種族，宗教的偏見(jiàn)。

由于模型訓(xùn)練數(shù)據(jù)集在一定程度上存在偏差，訓(xùn)練出來(lái)的模型也會(huì)學(xué)壞。

一些研究人員指出，GPT—3和其他類似語(yǔ)言模型生成的文本可能會(huì)強(qiáng)化極端右翼極端主義的意識(shí)形態(tài)和行為。

侏羅紀(jì)模型的輸出面臨預(yù)設(shè)場(chǎng)景的問(wèn)題

有鑒于此，AI2實(shí)驗(yàn)室正在限制公共測(cè)試版中可以生成的文本量，并打算手動(dòng)審查每個(gè)微調(diào)模型。

可是，即使是微調(diào)的模型也無(wú)法擺脫訓(xùn)練過(guò)程中的壞習(xí)慣。

就像Open AI的Codex一樣，它仍然會(huì)生成種族主義或其他令人反感的可執(zhí)行代碼。

雖然是以色列研究人員開(kāi)發(fā)的，但很可能受到訓(xùn)練數(shù)據(jù)集的影響《侏羅紀(jì)—1》似乎比《GPT—3》更歧視猶太人

在偏見(jiàn)和歧視的問(wèn)題上，所有的模式都是釜底抽薪。

可是，AI21實(shí)驗(yàn)室的工程師表示，侏羅紀(jì)—1模型的偏差小于GPT—3。

免責(zé)聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，僅代表作者個(gè)人觀點(diǎn)，與本網(wǎng)無(wú)關(guān)。僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。