，目標(biāo)檢測種類多達(dá) 20000+ 種的 AI，你見過嗎。不僅準(zhǔn)確揪出每個(gè)物體所在的位置，分類效果非常準(zhǔn)確:

插畫版賽博恐龍也沒問題:

甚至還能檢測雜志封面甚至漫畫中的物體！

一起來看看。

可識別跨次元物體

這篇論文提出了一種新的名為 Detic 的方法，用來解決目標(biāo)檢測無法用到圖像級標(biāo)簽的問題。

此前的目標(biāo)檢測方法，通常是一個(gè)檢測框里一個(gè)物體:

也有一些研究想出了一種新方法，搞個(gè)弱監(jiān)督學(xué)習(xí)，試圖讓 AI 自己學(xué)會將圖像級的標(biāo)簽，去對應(yīng)錨定框里面有什么物體，但實(shí)際上這種方法的效果也不太好。

Detic 的方法是采用目標(biāo)檢測數(shù)據(jù)和圖像標(biāo)簽數(shù)據(jù)對 Detic 進(jìn)行混合訓(xùn)練。

其中，在用目標(biāo)檢測數(shù)據(jù)訓(xùn)練 Detic 時(shí)，同時(shí)對圖像分類模塊 W 和目標(biāo)檢測模塊 B 進(jìn)行訓(xùn)練，但只用標(biāo)簽數(shù)據(jù)對圖像分類模塊 W 進(jìn)行訓(xùn)練。

訓(xùn)練的數(shù)據(jù)集采用的是 ImageNet，事實(shí)證明模型在訓(xùn)練后無需微調(diào)，就能很好地適應(yīng)到 LVIS 等數(shù)據(jù)集，相對之前的一些模型都達(dá)到了不錯(cuò)的效果:

這立刻吸引了不少網(wǎng)友來玩。

在線 Demo 可玩

有網(wǎng)友用梵高的世界名畫試了試。

放大一點(diǎn)來看，藝術(shù)加工后的椅子，人和桌子也能被識別:

還有用二次元的龍貓進(jìn)行識別的，除了龍貓本身被錯(cuò)認(rèn)成貓頭鷹以外，其他的雨傘和靴子都認(rèn)得不錯(cuò):

我們也隨便用一個(gè)鐘表柜的照片試了試，在線 Demo 的檢測時(shí)間稍微有點(diǎn)久，大約需要 6 分鐘左右，但效果還不錯(cuò):

細(xì)看的話還是能發(fā)現(xiàn)一些瑕疵，例如把部分手表誤認(rèn)成轉(zhuǎn)速計(jì)，以及懷表和時(shí)鐘，以及也有一兩塊手表沒有被檢測出來。

不過，即使在二次元和插畫中，這個(gè) AI 能識別的物體，至少也需要在真實(shí)世界出現(xiàn)過。

例如，超出 20000 個(gè)分類的物體，如噴火龍和皮卡丘，就不在 AI 的監(jiān)測范圍內(nèi)了，全部被認(rèn)成了猴子:

將這些二次元角色也加入 AI 訓(xùn)練數(shù)據(jù)集中，不知能否取得同樣的檢測效果。

這張照片是女朋友拍的

Rohit Girdhar，Armand Joulin 和 Ishan Misra，Meta AI 的研究科學(xué)家，主要研究方向是機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺，此前 Armand Joulin 曾經(jīng)在李飛飛的實(shí)驗(yàn)室進(jìn)行博士后工作。

Philipp Krhenbühl，得克薩斯大學(xué)奧斯汀分校助理教授，Xingyi Zhou 的導(dǎo)師，研究方向是計(jì)算機(jī)視覺，機(jī)器學(xué)習(xí)和計(jì)算機(jī)圖形學(xué)

感興趣的小伙伴，趕緊試試你想玩的漫畫，或是雜志插畫吧~

Demo 地址:點(diǎn)擊打開

論文地址:點(diǎn)擊打開

參考鏈接:一，二

免責(zé)聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，僅代表作者個(gè)人觀點(diǎn)，與本網(wǎng)無關(guān)。僅供讀者參考，并請自行核實(shí)相關(guān)內(nèi)容。