CanonicalFusion：從多圖像生成可駕駛的三維人類化身

我們提出一種新框架，用於從多圖像重建可動畫化的人類化身，稱為 CanonicalFusion。我們的核心概念涉及將個別重建結果整合到標準空間中。具體而言，我們首先使用共享編碼器雙解碼器網絡預測 Linear Blend Skinning (LBS) 權重圖和深度圖，直接從預測深度圖中實現三維網格的標準化。此處，我們不直接預測高維度的皮膚權重，而是利用預訓練的 MLP 網絡推斷壓縮皮膚權重，即 3 維向量。我們還引入一個基於前向皮膚的可微分渲染機制，用於合併來自多個圖像的重建結果。此機制透過前向皮膚重新定位標準網格，並最小化渲染結果與預測結果之間的光度與幾何誤差來優化初始網格。我们的 optimization scheme considers the position and color of vertices as well as the joint angles for each image, thereby mitigating the negative effects of pose errors. We conduct extensive experiments to demonstrate the effectiveness of our method and compare our CanonicalFusion with state-of-the-art methods. Our source codes are available at https://github.com/jsshin98/CanonicalFusion.