基于掩码条件的体素扩散用于几何与颜色联合填充

我们提出一种轻量级两阶段框架，用于损坏 3D 对象的几何与颜色联合填充，灵感来自文化遗产修复领域。该管道将损坏定位与重建分离。在第一阶段，2D 卷积网络预测从体素化对象提取的 RGB 切片上的损坏掩码，并将这些预测聚合为体素掩码。在第二阶段，基于扩散的 3D U-Net 对体素网格执行掩码条件填充，直接重建几何与颜色，同时保留观测区域。该模型使用复合目标函数联合预测占用和颜色，该目标函数结合占用重建、掩码颜色重建和感知正则化。我们在使用标准几何和颜色指标对合成损坏的纹理文物数据集上进行评估。与基于对称性的基线方法相比，我们的方法在固定 32^3 分辨率下产生更完整的几何和更连贯的颜色重建。总体而言，结果表明，显式掩码条件是引导体素扩散模型进行 3D 几何与颜色联合填充的实用方法。