即興創作是爵士樂的特點,而NVIDIA透過人工智慧(AI)研究成果向爵士樂致敬,繪圖創作者有朝一日將能夠在即興演奏時,利用演奏期間所創作出的3D物件進行即興創作。

建築師、設計師、概念藝術家與遊戲開發者透過這項稱為NVIDIA 3D MoMa的工具,可以迅速將物件匯入繪圖引擎,並進行處理、調整比例、變更材質或嘗試不同的光線效果。

NVIDIA Research在一部頌揚爵士樂及其發源地紐奧良的影片中展示該項技術,而本週在紐澳良舉行的國際電腦視覺與模式辨識會議(CVPR)上發表3D MoMa的技術論文。

逆向渲染是一項將一系列靜態照片重建為3D物件或場景模型的技術,NVIDIA繪圖研究部門副總裁David Luebke表示,這項技術對於統一電腦視覺與電腦繪圖來說是夢寐以求的目標。

David Luebke亦表示,藉著把每一個逆向渲染問題都當作GPU加速的可微分元件,NVIDIA 3D MoMa渲染流程利用現代AI技術與NVIDIA GPU的原始運算能力快速產出3D物件,創作者便能運用現有的工具,自由地進行匯入、編輯和擴展等作業。

3D物件的形式應能搭配遊戲引擎、3D建模器和電影渲染器等各式常見工具,才最能協助藝術家或工程師。該形式為3D工具的通用語言、帶有紋理材質的三角網格(Triangle Mesh)。

遊戲工作室與其他創作者過去使用複雜的攝影測量技術,耗費大量時間及人力來建立3D物件。最近在神經輻射場領域的研究成果可以用於快速生成3D物件或場景,但並非能夠輕鬆編輯的三角網格格式。

NVIDIA 3D MoMa搭配單一NVIDIA Tensor核心GPU,能在一小時內產生三角網格模型。該流程的輸出內容可直接相容於創作者原本使用的3D繪圖引擎與建模工具。

流程重建有三個特徵:3D網格模型、材質和光線。網格如同由三角形組成的3D形狀紙糊模型。開發人員能透過網格來調整物件,以符合他們的創作構想。2D紋理材質像皮膚一樣疊加在3D網格上,而NVIDIA 3D MoMa亦會判斷場景的打光狀況,以便創作者在後期調整物件上的光線。

NVIDIA的研究和創意團隊先蒐集五種爵士樂器不同角度的圖片各約100張,以展現NVIDIA 3D MoMa的能力,包括小號、長號、薩克斯風、爵士鼓和單簧管。

NVIDIA 3D MoMa將每件樂器的2D平面影像,以三角網格重建為3D立體模型。接著,NVIDIA團隊從原始場景中取出這些樂器,並將其匯入NVIDIA Omniverse 3D模擬平台進行編輯。

#NVIDIA #人工智慧 #爵士樂