人工智能的時代已經開啟，它不再僅僅滿足于“畫得像”，而是開始理解衣物為何飄動、褶皺如何形成。
韓國科學技術院的一個研究團隊開發出一款新的生成式人工智能模型，能夠學習遵循物理定律的三維空間運動與交互。這項技術克服了現有基于二維視頻的人工智能的局限，有望顯著提升電影、元宇宙和游戲中虛擬角色的真實感，并大幅減少對動作捕捉或手動三維圖形工作的需求。
該研究成果已發表在預印本服務器arXiv上。
由計算學院Tae-Kyun Kim教授領導的研究團隊開發了“MPMAvatar”，這是一個基于空間和物理的生成式人工智能模型，它突破了現有二維像素級視頻生成技術的限制。
為了解決傳統二維技術的問題，研究團隊提出了一種新方法：利用高斯潑濺技術將多視角圖像重建到三維空間，并將其與物理模擬技術——物質點法相結合。
換言之，該人工智能通過立體重建從多視角拍攝的視頻，并讓該空間內的物體像在真實物理世界中一樣運動和交互，從而自主學習物理定律。
這使得人工智能能夠基于物體的材質、形狀和外部作用力計算其運動，然后通過將計算結果與實際視頻進行比較來學習物理規律。
研究團隊使用點單元來表征三維空間，并通過將高斯潑濺和物質點法同時應用于每個點，他們一舉實現了物理上自然的運動和逼真的視頻渲染。
也就是說，他們將三維空間分割成無數微小的點，使每個點都像真實物體一樣移動和變形，從而實現了與真實世界幾乎別無二致的自然視頻。
特別是，為了精確表達像衣物這樣輕薄復雜物體的交互，他們同時計算了物體的表面網格結構和其粒子單元結構，并采用了物質點法。該方法能依據物理定律計算物體在三維空間中的運動和形變。
此外，他們還開發了一種新的碰撞處理技術，能夠逼真地再現衣物或物體在多個位置以復雜方式移動和相互碰撞的場景。
該技術所應用的生成式人工智能模型MPMAvatar，成功再現了穿著寬松衣物的人體的真實運動與交互，并且在零樣本生成方面也取得了成功，即人工智能能夠對學習過程中從未見過的數據進行自主推理處理。
所提出的方法適用于各種物理屬性，如剛體、可變形物體和流體，因此不僅可用于虛擬人物，也可用于生成一般的復雜場景。
Tae-Kyun Kim教授解釋道：“這項技術超越了人工智能簡單地畫一幅畫；它讓人工智能理解‘為什么’它眼前的世界是它所呈現的樣子。這項研究展示了能夠理解和預測物理定律的‘物理人工智能’的潛力，標志著朝向通用人工智能的一個重要轉折點。”
他補充說：“預計該技術將在更廣泛的沉浸式內容產業中得到實際應用，包括虛擬制片、電影、短視頻內容和廣告等，并帶來重大變革。”
研究團隊目前正在擴展這項技術，致力于開發一個僅根據用戶文本輸入就能生成物理一致的三維視頻模型。
精選文章：