Im2Avatar：从单幅图像进行彩色三维重建

现有单图像三维重建工作主要关注形状恢复。本文研究一个新问题，即从单幅图像同时恢复三维形状与表面颜色，称为“彩色三维重建”。该问题既具挑战又引人入胜，因为从单幅图像推断带纹理的三维模型的能力是视觉理解的核心。我们提出一个端到端可训练框架——彩色体素网络（Colorful Voxel Network, CVN）来解决此问题。在单张二维输入条件下，CVN 学习将三维物体的形状与表面颜色信息分别解耦至三维形状分支与表面颜色分支。具体而言，对于形状恢复，我们生成体素状态表示占据情况的三维形状体。对于表面颜色恢复，我们通过并行学习一个回归颜色体与一个二维到三维流体，并结合外观幻觉与几何投影的优势，再将二者融合为混合颜色体。最终带纹理的三维模型通过在形状体中占据体素的位置处从混合颜色体采样颜色获得。为处理严重的稀疏体表示，我们设计了一种新的损失函数——均方伪交叉熵损失（Mean Squared False Cross-Entropy Loss, MSFCEL）。大量实验表明，我们的方法相较基线取得显著提升，并在不同物体类别与任意视角下展现出良好的泛化能力。