要說(shuō)《變形金剛》的核心亮點(diǎn)，當(dāng)然是注意力機(jī)制。

可是現(xiàn)在，一項(xiàng)新的研究突然提出了一個(gè)有些爆炸性的觀點(diǎn):

注意機(jī)制對(duì)于預(yù)訓(xùn)練變形金剛有多重要，需要打個(gè)問(wèn)號(hào)。

來(lái)自希伯來(lái)大學(xué)，艾倫人工智能研究所，蘋(píng)果公司和華盛頓大學(xué)的研究人員提出了一種新的方法來(lái)衡量預(yù)訓(xùn)練變壓器模型中注意力機(jī)制的重要性。

結(jié)果表明，即使去掉注意機(jī)制，某些變壓器的性能變化也不大，甚至與原模型相差不到十分之一！

這個(gè)結(jié)論讓很多人驚訝，也有網(wǎng)友調(diào)侃:

你褻瀆了這個(gè)領(lǐng)域的神！

那么，如何判斷注意機(jī)制對(duì)變形金剛模型的重要性呢。

把注意力轉(zhuǎn)向一個(gè)常數(shù)矩陣。

這種新的測(cè)試方法叫做PAPA，全稱(chēng)是預(yù)訓(xùn)練語(yǔ)言模型注意機(jī)制的檢測(cè)與分析。

PAPA采用的方法是將預(yù)訓(xùn)練語(yǔ)言模型中依賴(lài)輸入的注意矩陣替換為常數(shù)矩陣。

如下圖所示，我們熟悉的關(guān)注機(jī)制是通過(guò)Q和K矩陣計(jì)算關(guān)注權(quán)重，然后作用于V，得到整體權(quán)重和輸出。

現(xiàn)在，Q和K的部分直接用常數(shù)矩陣C代替:

常數(shù)矩陣c計(jì)算如下:

然后用6個(gè)下游任務(wù)對(duì)這些模型進(jìn)行測(cè)試，比較PAPA前后模型的性能差距。

為了更好地檢驗(yàn)注意機(jī)制的重要性，模型的注意矩陣并不是一次性完全用一個(gè)常數(shù)矩陣代替，而是逐漸減少注意頭的數(shù)量。

如下圖所示，研究中使用了BERT—BASE，RoBERTa—BASE和DeBERTa—BASE，其中Y軸代表性能，X軸代表與原始相比注意力頭的下降:

然后，將BERT—LARGE，RoBERTa—LARGE和DeBERTa—LARGE用作實(shí)驗(yàn):

通過(guò)對(duì)比結(jié)果，研究人員發(fā)現(xiàn)了一些有趣的現(xiàn)象:

首先，用常數(shù)矩陣代替一半的注意力矩陣對(duì)模型的性能影響不大，甚至在某些情況下可能會(huì)導(dǎo)致性能的提高。

其次，即使關(guān)注頭數(shù)減少到零，平均性能也會(huì)下降8%，與原模型相比不超過(guò)20%。

人們認(rèn)為，這一現(xiàn)象表明，預(yù)訓(xùn)練語(yǔ)言模型并不那么依賴(lài)于注意機(jī)制。

模型的性能越好，就越依賴(lài)于注意機(jī)制。

可是，即使在預(yù)先訓(xùn)練的變壓器模型中，性能也不完全相同。

如下圖所示，其中Y軸代表每個(gè)模型的平均性能，X軸代表當(dāng)所有關(guān)注矩陣替換為常數(shù)矩陣時(shí)模型性能的相對(duì)降低分?jǐn)?shù):

可以看出，以前的模型性能越好，用常數(shù)矩陣代替注意力矩陣的損失就越高。

這說(shuō)明模型本身的性能越好，利用注意機(jī)制的能力就越強(qiáng)。

對(duì)于這個(gè)研究，有網(wǎng)友覺(jué)得很棒:

聽(tīng)起來(lái)很酷現(xiàn)在很多架構(gòu)過(guò)于關(guān)注各種計(jì)算和性能任務(wù)，卻忽略了是什么改變了模型

但也有網(wǎng)友認(rèn)為，單純從數(shù)據(jù)上無(wú)法判斷架構(gòu)變化是否重要。

例如，在某些情況下，注意機(jī)制帶來(lái)的隱藏空間中數(shù)據(jù)點(diǎn)的振幅變化僅為2—3%:

這種情況下還不夠重要嗎不一定

如何看待《變形金剛》中注意力機(jī)制的重要性。

論文地址:

參考鏈接:

免責(zé)聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，僅代表作者個(gè)人觀點(diǎn)，與本網(wǎng)無(wú)關(guān)。僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。