DiGA3D：用于通用 3D 填充的粗到细扩散几何与外观传播

开发一个统一的管道，使用户能够以灵活的方式删除、重新涂装或替换物体，对文本驱动的 3D 填充至关重要。然而，在统一框架内完成多种 3D 填充任务仍面临挑战：1）单参考视图填充方法在处理远离参考视图的视图时鲁棒性不足；2）独立使用 2D 扩散先验对多视图图像进行填充会导致外观不一致；3）几何不一致限制了在填充区域存在显著几何变化时的性能。为解决这些挑战，我们提出了 DiGA3D，一种新型且通用的 3D 填充管道，利用扩散模型以粗到细方式传播一致的外观和几何。首先，DiGA3D 发展了健壮的参考视图选择策略，以减少传播过程中的误差。接着，DiGA3D 设计了注意力特征传播（Attention Feature Propagation, AFP）机制，通过扩散模型将所选参考视图的注意力特征传递到其他视图，以保持外观一致性。进一步地，DiGA3D 引入了纹理-几何得分蒸馏采样（Texture-Geometry Score Distillation Sampling, TG-SDS）损失，以进一步提高填充后 3D 场景的几何一致性。在多个 3D 填充任务上的大量实验表明，我们的方法有效。项目页面可访问于 https://rorisis.github.io/DiGA3D/。