在古希臘神話中，一個名叫赫爾墨斯的神會充當(dāng)人神之間的使者，穿著帶翅膀的飛鞋，行走在人神之間。

根據(jù)荷馬史詩:眾神中，赫爾墨斯最喜歡指引凡人前進這句話用來形容OpenAI和AI的關(guān)系，雖然并不遙遠

上周，OpenAI創(chuàng)建的ChatGPT一炮而紅，成為國內(nèi)外AI領(lǐng)域的頭號熱門話題關(guān)于ChatGPT的對話能力，你可能已經(jīng)通過很多文章感受到了總結(jié)起來就是回答問題流利，無所不能你可以為程序員寫代碼，為商務(wù)人士做計劃，為作家寫故事讓谷歌已死，XX職業(yè)將再次被AI取代等久違的AI威脅言論開始大量出現(xiàn)

關(guān)于ChatGPT的神奇，看多了有點審美疲勞。冷靜下來想一想:

為什么是同一個AIGC問答，對話等NLP應(yīng)用更容易引起轟動，激發(fā)人們對通用人工智能的希望

為什么是同樣的前期培訓(xùn)模式相比BERT，GPT3等前輩，ChatGPT的對話能力有了質(zhì)的飛躍

為什么和做AI一樣為什么OpenAI非要死在NLP上，從GPT1迭代到ChatGPT

Open首席執(zhí)行官兼聯(lián)合創(chuàng)始人山姆·奧特曼曾說過:相信指數(shù)，平視向前，垂直向前，相信指數(shù)的力量，平行向后看，垂直向前看ChatGPT的出現(xiàn)，預(yù)示著AI似乎已經(jīng)到了指數(shù)級飛躍的關(guān)鍵點但是脫ChatGPT不是一蹴而就的

從GPT到ChatGPT，恰恰代表了OpenAI在大模型領(lǐng)域?qū)嶋H走過的歷程從中我們可以看到OpenAI在AI大模型的競爭中探索出了自己的道路，就像愛馬仕一樣，成為了引領(lǐng)AI技術(shù)前進的使者

如果說OpenAI是傳遞AI前沿進展的赫爾墨斯，ChatGPT就是那雙長著翅膀的金鞋我們不僅要關(guān)注ChatGPT鞋有多驚艷，更要搞清楚OpenAI選擇的這條大模特之路到底有什么玄機

如今，中國的科技企業(yè)和研究機構(gòu)都在積極投入大模型的布局問問題不如求技巧我們不妨從GPT的演變來看OpenAI對AI和大模型的戰(zhàn)略思考和發(fā)展

從GPT一號到ChatGPT，超神模型的進化足跡

OpenAI在博客中寫道，ChatGPT是通過對GPT3.5系列中的模型進行微調(diào)而誕生的。

顧名思義，GPT— 3.5是OpenAI設(shè)計的一系列NLP模型中的第四個，在此之前還出現(xiàn)過GPT—1，GPT—2和GPT— 3。

在GPT出現(xiàn)之前，NLP模型主要是基于特定任務(wù)的大量標注數(shù)據(jù)進行訓(xùn)練的。這將導(dǎo)致一些限制:

大規(guī)模，高質(zhì)量的標注數(shù)據(jù)難以獲取，

模型局限于所接受的訓(xùn)練，泛化能力不足，

無法執(zhí)行開箱即用的任務(wù)，限制了模型的應(yīng)用。

為了克服這些問題，OpenAI走上了大模型預(yù)訓(xùn)練的道路從GPT1到ChatGPT，是一個預(yù)訓(xùn)練模型越來越大，效果越來越強的過程當(dāng)然，OpenAI的實現(xiàn)不僅僅是創(chuàng)造奇跡那么簡單

第一代:從有監(jiān)督到無監(jiān)督的GPT—12018年，OpenAI推出了第一代生成式預(yù)訓(xùn)練模型GPT—1以前，NLP任務(wù)需要通過大規(guī)模數(shù)據(jù)集進行監(jiān)督學(xué)習(xí)，這需要昂貴的數(shù)據(jù)標記GPT—1的關(guān)鍵特征是:半監(jiān)督學(xué)習(xí)有了無監(jiān)督學(xué)習(xí)的前期訓(xùn)練，在8個GPU上花了一個月的時間，從大量的未標記數(shù)據(jù)中增強AI系統(tǒng)的語言能力，獲取大量的知識然后，它在監(jiān)督下進行微調(diào)，并與大數(shù)據(jù)集集成，以提高系統(tǒng)在NLP任務(wù)中的性能

GPT一號的效果很明顯它可以增強自然語言處理模型的能力，減少對資源和數(shù)據(jù)的需求，只需很少的微調(diào)同時，GPT一號也有明顯的問題首先，它有數(shù)據(jù)限制GPT一號是在網(wǎng)上的書籍和文本中訓(xùn)練出來的，它對世界的理解是不完整和準確的第二，泛化能力仍然不足，在某些任務(wù)上的表現(xiàn)會下降

第二代:更大，更高，更強的GPT—22019年推出的GPT 2號與GPT 1號沒有本質(zhì)上的區(qū)別，具有相同的架構(gòu)它使用了更大的數(shù)據(jù)集WebText，擁有約40 GB的文本數(shù)據(jù)和800萬個文檔，并為模型添加了更多參數(shù)，以提高模型的準確性可以說是GPT—1的增強版或臃腫版

GPT—2的出現(xiàn)進一步證明了無監(jiān)督學(xué)習(xí)的價值，以及預(yù)訓(xùn)練模型在下游NLP任務(wù)中的廣泛成功，并且已經(jīng)開始滿足圖靈測試的要求一些研究表明，GPT—2生成的文本幾乎與《紐約時報》的真實文章一樣令人信服

第三代:進步很大的GPT三號2020年，GPT 3號的這一迭代實現(xiàn)了巨大的飛躍，成為了與GPT 2號截然不同的物種

首先，GPT 3號規(guī)?？涨埃瑓?shù)超過1750億，是GPT 2號的117倍其次，GPT—3不需要微調(diào)它可以識別數(shù)據(jù)中隱藏的含義，并使用之前訓(xùn)練中獲得的知識來執(zhí)行下游任務(wù)這意味著GPT—3即使從未接觸過實例，也能理解并提供良好的性能因此，GPT—3在商業(yè)應(yīng)用中也表現(xiàn)出很高的穩(wěn)定性和實用性，通過云端的API訪問實現(xiàn)商業(yè)化這種既能進實驗室又能出車間的能力，讓GPT—3成為2020年AI領(lǐng)域最驚艷的機型之一

當(dāng)然，GPT 3號也不是完美的正如聯(lián)合創(chuàng)始人山姆·奧特曼所說，GPT—3的水平還處于早期階段，有時會犯非常愚蠢的錯誤我們距離人工智能的真實世界還有很長的路要走此外，GPT—3 API的許多基礎(chǔ)模型都非常龐大，需要大量的專業(yè)知識和優(yōu)秀的機器，這使得中小型企業(yè)或個人開發(fā)者很難使用它們

第四代:基于理解生成的ChatGPT終于在2022年，OpenAI的預(yù)訓(xùn)練語言模型發(fā)生了顛覆性的迭代，導(dǎo)致了技術(shù)路線的又一次方向性轉(zhuǎn)變:基于數(shù)據(jù)人工標注的推理和生成+強化學(xué)習(xí)

如前所述，預(yù)訓(xùn)練模型最初是為了減少監(jiān)督學(xué)習(xí)對高質(zhì)量標記數(shù)據(jù)的依賴而出現(xiàn)的在GPT —3.5大規(guī)模語言模型的基礎(chǔ)上，ChatGPT開始依賴大量人工標注的數(shù)據(jù)如何才能回到監(jiān)督學(xué)習(xí)的老路上去

原因是GPT 3.5雖然強大，但無法理解人類指令的含義，也無法判斷輸入，自然難以給出高質(zhì)量的輸出答案因此，OpenAI通過專業(yè)的標注者編寫詞條，對相應(yīng)的指令/問題給出高質(zhì)量的回答，并根據(jù)這些數(shù)據(jù)調(diào)整GPT —3.5的參數(shù)，從而使GPT —3.5具備理解人類指令的能力

在人工標注訓(xùn)練數(shù)據(jù)的基礎(chǔ)上，采用強化學(xué)習(xí)來增強預(yù)訓(xùn)練模型的能力加強學(xué)習(xí)，簡單理解就是獎對懲錯，根據(jù)系統(tǒng)的評分不斷更新參數(shù)，從而產(chǎn)生越來越高質(zhì)量的答案所以這幾天很多人在交互中發(fā)現(xiàn)，ChatGPT會承認錯誤，修改自己的答案，正是因為它有從人類反饋中加強學(xué)習(xí)和重新思考的能力

由于其理解能力，ChatGPT被視為通向通用人工智能AGI的道路。

從GPT模型的進化迭代中，我們可以看到OpenAI正在不斷向自然語言理解的目標邁進有了更大的模型和更先進的架構(gòu)，它終于為通用人工智能找到了一條道路

從GPT—1到ChatGPT的垂直進化，我們可以看到OpenAI對大模型的獨特理解和技術(shù)脈絡(luò)——通過模型預(yù)訓(xùn)練提高NLP指數(shù)，達到強人工智能NLP有什么特別之處讓OpenAI如此執(zhí)著

OpenAI的大模式差異化之路

從上一篇文章中不難看出，OpenAI對文本生成模式的堅持，因為做了很久，投入足夠多，可以做得更好，這是一種非常長期的戰(zhàn)略力量。

相比之下，與GPT—1同年推出的預(yù)訓(xùn)練模式，以及谷歌發(fā)布的BERT，但后者在流行一段時間后影響力明顯減弱，NLP問答領(lǐng)域一直是Meta領(lǐng)先Meta AI的OPT模型和GPT—3達到了相同的參數(shù)，但效果不如OpenAI同期參賽選手中，OpenAI顯然在語言模型上更為重視

一方面，資源投入，無論是越來越大的模型，都需要消耗巨大的計算資源ChatGPT需要的高質(zhì)量標注數(shù)據(jù)依賴于醫(yī)生，這顯然比將數(shù)據(jù)標注任務(wù)分配給眾包平臺消耗更多的人力和財力

另一方面是技術(shù)投入，大規(guī)模預(yù)訓(xùn)練，強化學(xué)習(xí)等技術(shù)都是用來提高NLP對話系統(tǒng)在開放和通用領(lǐng)域的理解和推理能力NLP是認知智能要改善它，就要解決知識依賴的問題，知識是非常離散的，很難表達解決標注數(shù)據(jù)和知識不足的問題在技術(shù)上非常具有挑戰(zhàn)性幾年前，IBM的弗雷德里克·耶利內(nèi)克說過，每當(dāng)我解雇一名語言學(xué)家，語音識別系統(tǒng)的性能就會提高頗有解決不了問題，就解決問問題的人的既視感所以可以說OpenAI選擇了一種更難的方式來解決真正困難的問題

此外，專注NLP也意味著OpenAI將承擔(dān)隱形的機會成本。

今年，AIGC在資本市場和應(yīng)用市場取得了長足的進步相比AlphaFold2解決的AI繪畫，音視頻生成，蛋白質(zhì)結(jié)構(gòu)預(yù)測等生成任務(wù)，NLP任務(wù)是直接用文字和符號表達概念這種模式通過API+云服務(wù)完成商業(yè)服務(wù)，獲得的收益遠遠小于圖像音視頻或科學(xué)計算，無論是云資源的消耗還是接口調(diào)用服務(wù)收費用同樣的精力做十個八個Dalle的模特，肯定賺的更多

科技博主王永剛在他的博客中分享了一個故事，他說他與OpenAI的兩位聯(lián)合創(chuàng)始人交流，發(fā)現(xiàn)這兩個人甚至不知道AIGC是什么意思！

說到這里，或許可以得出這樣的結(jié)論:OpenAI作為一家以實現(xiàn)安全通用人工智能為目標的公司，正在通過預(yù)訓(xùn)練大模型，不考慮投資和商業(yè)回報，潛心提升NLP任務(wù)的各項指標，從而接近AGI的愿景。

OpenAI為什么能走出這種大模式差異化的趨勢引領(lǐng)之路。

一方面，NLP是特殊的。

NLP并不神奇，但有時結(jié)果也近乎神奇通用人工智能必須具備認知智能，這是制約人工智能實現(xiàn)更大突破和更廣泛應(yīng)用的關(guān)鍵瓶頸，而NLP是認知智能的核心Geoffrey Hinton和Yann LeCun都說過類似的觀點深度學(xué)習(xí)的下一個大進展應(yīng)該是讓神經(jīng)網(wǎng)絡(luò)真正理解文檔的內(nèi)容

也就是說，當(dāng)人工智能能夠理解自然語言時，AGI就可能實現(xiàn)。

此外，OpenAI的運營模式也起到了關(guān)鍵作用。

突破性創(chuàng)新前期需要大量投入，大型號開發(fā)需要大量基礎(chǔ)設(shè)施投入可是，ChatGPT的對話系統(tǒng)很難在短期內(nèi)通過呼叫規(guī)模來均衡R&D成本所以O(shè)penAI是非盈利的研究機構(gòu)，沒有迫切的商業(yè)壓力，可以更專注于NLP領(lǐng)域的基礎(chǔ)研究，這是商業(yè)AI公司很難做到的

2011年，自然語言領(lǐng)域的領(lǐng)軍學(xué)者肯尼斯·楚吉發(fā)表了一篇長文《一個擺得太遠的鐘擺》，文中提到我們這一代學(xué)者趕上了經(jīng)驗主義的黃金時代，采摘了唾手可得的低枝果實，留給下一代硬骨頭去啃。

深度學(xué)習(xí)是經(jīng)驗主義的新高峰，這個領(lǐng)域的低枝果實總有被采摘的一天最近幾年來，大量的AI科學(xué)家警告說，深度學(xué)習(xí)面臨許多限制，很難簡單地通過深度學(xué)習(xí)來解決一些復(fù)雜的任務(wù)或許用不了多久，基本突破就會成為AI產(chǎn)業(yè)的重要支撐

GPT的演變也說明，AI的突破需要一步步實現(xiàn)，從小到大今天每個AI企業(yè)和研究機構(gòu)都在做大模型與CV計算機視覺，數(shù)字人，元宇宙等AI應(yīng)用相比，NLP暗淡很多而如果一窩蜂去摘容易摘到的果子，最終會限制AI深入行業(yè)的步伐

ChatGPT的出現(xiàn)提醒我們，只有啃下基礎(chǔ)領(lǐng)域的硬骨頭，才能真正給AI帶來質(zhì)變。

免責(zé)聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，僅代表作者個人觀點，與本網(wǎng)無關(guān)。僅供讀者參考，并請自行核實相關(guān)內(nèi)容。