英特爾ARM英偉達力推規(guī)范草案,想統(tǒng)一AI數(shù)據(jù)交換格式
當?shù)貢r間周三,芯片公司英特爾,ARM和英偉達聯(lián)合發(fā)布了一份所謂的人工智能通用交換格式的規(guī)范草案,目的是讓機器處理人工智能的過程更快,更高效。
Intel,ARM,Nvidia在草案中推薦人工智能系統(tǒng)的8位FP8浮點處理格式他們表示,F(xiàn)P8浮點處理格式可能會優(yōu)化硬件內(nèi)存利用率,從而加速人工智能的發(fā)展這種格式同時適用于AI訓練和推理,有助于開發(fā)更快更高效的AI系統(tǒng)
在開發(fā)人工智能系統(tǒng)時,數(shù)據(jù)科學家面臨的關(guān)鍵問題不僅僅是收集大量數(shù)據(jù)來訓練系統(tǒng)另外,需要選擇一種格式來表示系統(tǒng)權(quán)重,這是人工智能從訓練數(shù)據(jù)中學習并影響系統(tǒng)預(yù)測效果的重要因素Weight讓GPT—3等人工智能系統(tǒng)從長句提示中自動生成一整段,也讓DALL—E 2人工智能根據(jù)特定標題生成逼真的人像
人工智能系統(tǒng)權(quán)重常用的格式有半精度浮點FP16和單精度浮點FP32前者使用16位數(shù)據(jù)表示系統(tǒng)重量,而后者使用32位數(shù)據(jù)半精度浮點數(shù)和更低精度浮點數(shù)可以減少人工智能系統(tǒng)訓練和運行所需的內(nèi)存空間,同時可以加快計算速度,甚至可以減少占用的帶寬資源和功耗但由于比單精度浮點數(shù)位數(shù)少,精度會降低
但是業(yè)內(nèi)很多公司,包括Intel,ARM,Nvidia,都把8位FP8浮點處理格式作為自己的最佳選擇英偉達產(chǎn)品營銷總監(jiān)Sasana Lassime Han在博客中指出,F(xiàn)P8浮點處理格式在計算機視覺和圖像生成系統(tǒng)等用例中的精度與半精度浮點處理格式相當,并且明顯得到了加速
英偉達,ARM和英特爾表示,他們將使FP8浮點處理格式成為一種開放標準,其他公司無需許可即可使用三家公司在白皮書中詳細描述了FP8Lassime Nahan表示,這些規(guī)范將提交給技術(shù)標準化組織IEEE,看看FP8格式能否成為人工智能行業(yè)的通用標準
納漢·拉西米說:我們相信,一種通用的交換格式將帶來硬件和軟件平臺的快速進步,提高互操作性,從而推動人工智能計算的進步。
當然,三家公司之所以不遺余力地推動FP8格式成為通用交換格式,也是出于各自的研究考慮英偉達的GH100 Hopper架構(gòu)已經(jīng)支持FP8格式,英特爾的Gaudi2人工智能訓練芯片組也支持FP8格式
但通用的FP8格式也將有利于競爭對手,如SambaNova,AMD,Groq,IBM,Graphcore和Cerebras,這些公司在開發(fā)人工智能系統(tǒng)時都嘗試或采用了FP8格式人工系統(tǒng)開發(fā)商Graphcore的聯(lián)合創(chuàng)始人兼首席技術(shù)官西蒙·諾爾斯在今年7月的一篇博文中寫道,8位浮點數(shù)的出現(xiàn)在處理性能和效率方面給人工智能計算帶來了巨大的優(yōu)勢諾爾斯還表示,這是行業(yè)確定一個單一開放標準的機會,這比采用多種格式相互競爭要好得多
免責聲明:此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊,僅代表作者個人觀點,與本網(wǎng)無關(guān)。僅供讀者參考,并請自行核實相關(guān)內(nèi)容。




