深井姬

哲學信仰是衛斯理小說、永遠紀念我長大的1997-2019。

【#NeRF · 神經輻射場】以圖片生成的3D動態影像

Facebook 3D Photo一直在研究LDI相關方面技術

不用3D建模,靜態圖片就能合成逼真效果,還是360度的高清影像,這對缺乏建模能力的影片製作者及獨立遊戲開發人員來說,這類技術的成熟絕對是福音。

來自加州大學和Google研究院的研究團隊,發表了最新程式碼成果:只需要輸入少量靜態圖片,就能做到360度視角的高清3D效果。

不用 3D 建模,完全由圖片生成的3D動態影像。這項命名為NeRF的技術,使用的是神經輻射場(Neural Radiance Field)方法,主要基於Python。目前,NeRF項目的代碼已經在GitHub上開源。

而如果只有舊式相片,使用Layered Depth Image, LDI 就可以合成新的視角以生成3D照片。 3D相片的生成主要基於重建和渲染技術,深度圖可以從雙攝相機通過立體視覺的方式計算得到,也可以藉助深度學習的方法從單張圖片估計得到。

台灣國立清華大學聯同 Facebook的團隊,就提出了一種從單張 RGB-D 圖像生成 3D 照片的方法。作者使用機器學習的方法根據給定的上下文生成其顏色和深度值。修復完成後再將合成的像素合併回 LDI。整個方法以這種方式反復進行,直到所有的深度邊緣都經過處理。目前代碼同樣已開源。

https://video.fhkg10-1.fna.fbcdn.net/v/t50.2886-16/94518849_152452819625476_1886356743149383898_n.mp4?_nc_cat=102&vs=17853815017957124_3629859715&_nc_vs=HBksFQAYJEdFRV9vZ1VFcGlpd3A0b0FBTnJ3Rkt0MnJ5MGFia1lMQUFBRhUAAsgBABUAGCRHSnRYcHdValZ2S2RWTzhCQVBIMy0xRmZNV2xpYmtZTEFBQUYVAgLIAQAoABgAGwGIB3VzZV9vaWwBMRUAABgAFoiiuLjn%2FLY%2FFQIoAkMzLBdAOe7ZFocrAhgSZGFzaF9iYXNlbGluZV8xX3YxEQB16gcA&_nc_sid=59939d&efg=eyJ2ZW5jb2RlX3RhZyI6InZ0c192b2RfdXJsZ2VuLjYxOGZlZWQifQ%3D%3D&_nc_ohc=ZCdv5ajQ5xEAX9T3paJ&_nc_ht=video.fhkg10-1.fna&oh=7b1c2e0a03cc202c31f8e6ab20d15a6d&oe=5EF4C578&_nc_rid=2fa325651f


發佈評論

看不過癮?

一鍵登入,即可加入全球最優質中文創作社區