StableDiffusion嵌入現(xiàn)實(shí)世界,能在墻上直接長出小貓咪,手機(jī)
你看,你面前有一面平平無奇的墻。
現(xiàn)在,你可以根據(jù)自己的意愿,讓它憑空長出東西來。
喜歡...一只小貓。
沒錯(cuò),穩(wěn)定擴(kuò)散又能開新花!
這一次,重點(diǎn)是穩(wěn)定擴(kuò)散的觸角伸向了現(xiàn)實(shí)世界——結(jié)合WebAR。
目前這個(gè)憑空長出一只貓的視頻還是挺火的。
伴隨著新世界的開啟,部分網(wǎng)友對AR+SD更感興趣:
還有人說:
這簡直就是很酷的新版《反恐精英》!
來看看這個(gè)很酷的新東西吧~
玩SD AR
首先拿起手機(jī),然后隨機(jī)選擇一面墻,通過屏幕界面鎖定:
選擇一個(gè)喜歡的區(qū)域,圈出并全部涂黑。
輸入提示詞:
可愛的小貓,涂鴉風(fēng)格,數(shù)字藝術(shù)。
然后點(diǎn)擊輸入框底部的擴(kuò)散按鈕,快進(jìn)到見證奇跡的時(shí)刻。
此時(shí),無論從哪個(gè)角度看,墻上都有一張妙娜麗莎微笑著看著你的照片。
這個(gè)視頻是我小哥哥第一個(gè)用無盡火低門檻的穩(wěn)定擴(kuò)散,結(jié)合WebAR做出來的實(shí)驗(yàn)產(chǎn)品。
他在評論區(qū)和圍觀者討論具體的工作流程。
第一步是定格,用它作為生成圖像的表面紋理,讓它有一個(gè)世界定位和設(shè)備跟蹤攝像頭。
第二步,向服務(wù)器發(fā)送API請求,并附上凍結(jié)幀和穩(wěn)定擴(kuò)散。
在整個(gè)工作中,將穩(wěn)定擴(kuò)散嵌入到現(xiàn)實(shí)世界是由AR完成的。
對于繪制紋理,哥哥用的是Raycast。
整個(gè)過程簡潔利落,引發(fā)了網(wǎng)友的新思考。
目前有很多有趣的NPU硬件,手機(jī)共享內(nèi)存超過12GB。
在這個(gè)前提下,如果Stable Diffusion和AR可以一起玩這個(gè)作業(yè),并在本地運(yùn)行,它可以在類似的請求時(shí)間內(nèi)完成整個(gè)512x512圖像生成,并在更快的AI上運(yùn)行升級,這將是非常有趣的。
小哥自己也說了,這份工作只是第一次嘗試,一切都只是穩(wěn)定擴(kuò)散和AR結(jié)合的開始。
但大部分網(wǎng)友認(rèn)為這已經(jīng)是很有趣的工作了,甚至想在上面涂鴉幾個(gè)小時(shí)。
AIGC打破了次生壁
穩(wěn)定擴(kuò)散之風(fēng)吹向現(xiàn)實(shí)世界,絕不是哥哥一個(gè)人的想法。
具體操作過程基本在原有基礎(chǔ)上加持了AR。
就在前幾天,另一個(gè)小哥用穩(wěn)定擴(kuò)散做了一個(gè)視頻透視光學(xué)透視眼鏡。
具體來說就是小哥哥做了一個(gè)擴(kuò)散穩(wěn)定的虛擬AR眼鏡,然后通過手機(jī)屏幕上的眼鏡鏡片實(shí)現(xiàn)AR效果。
生成的虛擬AR眼睛不僅有力量提示,還能展現(xiàn)出westworld,叢林,外星人等多種畫面風(fēng)格。
此外,還有人結(jié)合Meta旗下的AR創(chuàng)作工具Spark AR,利用穩(wěn)定擴(kuò)散來假裝自己拿著一個(gè)小方塊牌。
你知道,上面有動畫的那種。
但是這種穩(wěn)定擴(kuò)散產(chǎn)生的圖像并不是實(shí)時(shí)生成的,而是提前錄制的,因?yàn)槟壳暗腟park AR版本還不支持AI和ML。
非常好,通過穩(wěn)定的擴(kuò)散,AI和AR又一次緊密相連。
反正穩(wěn)定擴(kuò)散這么火,不僅僅是因?yàn)樾Ч@人,還因?yàn)樗|及到文本生成圖像以外的領(lǐng)域時(shí)非常厲害~
參考鏈接:
免責(zé)聲明:此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊,僅代表作者個(gè)人觀點(diǎn),與本網(wǎng)無關(guān)。僅供讀者參考,并請自行核實(shí)相關(guān)內(nèi)容。




