
加州大學默塞德分校與Adobe的最新合作,在人體圖像補全領域取得突破性進展。這項名為CompleteMe的技術(shù)不僅能修復受損圖像,還能根據(jù)參考圖像為人物"換裝",在虛擬試衣、動畫制作和照片編輯等場景展現(xiàn)強大潛力。

CompleteMe系統(tǒng)通過參考圖像(中列)為原始圖像(左列)生成自然逼真的補全效果(右列)。案例來自論文補充材料:查看詳情
這項發(fā)表于arXiv的研究采用雙U-Net架構(gòu)與區(qū)域聚焦注意力模塊(RFA),通過參考圖像指導系統(tǒng)修復被遮擋的人體部位:

CompleteMe能精準適配參考圖像內(nèi)容至目標區(qū)域
技術(shù)核心:雙網(wǎng)絡協(xié)同作戰(zhàn)
系統(tǒng)由兩大核心構(gòu)成:
參考U-Net:處理多角度參考圖像,提取細節(jié)特征
補全U-Net:整合掩碼圖像與參考特征,生成最終結(jié)果

系統(tǒng)架構(gòu)示意圖?來源
關鍵技術(shù)突破包括:
1區(qū)域聚焦注意力機制:通過空間掩碼確保模型僅關注相關區(qū)域
2CLIP語義特征融合:結(jié)合全局語義理解與局部細節(jié)特征
3復合掩碼策略:隨機網(wǎng)格遮擋+人體形狀掩碼組合訓練
性能碾壓現(xiàn)有方案
在包含417組測試數(shù)據(jù)的定制化基準上,CompleteMe在多數(shù)指標上全面領先:

定量評估結(jié)果(數(shù)值越高越好)
用戶研究顯示,在2895組對比測試中,CompleteMe生成的圖像在視覺質(zhì)量和特征保真度上獲得顯著偏好:

用戶調(diào)研結(jié)果
典型案例對比可見,傳統(tǒng)方法(紅框標注)難以還原紋身、特殊服飾等細節(jié):

與參考基線方法對比,CompleteMe精準保留參考圖像特征
應用前景與局限
雖然項目GitHub頁面暫未開源代碼,但其在時尚領域的應用潛力已引發(fā)關注。研究人員特別指出,該系統(tǒng)在復雜姿勢、精細服飾等挑戰(zhàn)性場景表現(xiàn)優(yōu)異。

這項研究標志著AI圖像編輯從"無中生有"邁向"按需定制"的新階段,為數(shù)字內(nèi)容創(chuàng)作提供了更精準的工具。建議讀者深入研讀完整論文與補充材料,以全面了解技術(shù)細節(jié)。
精選文章: