AuraFusion360：面向基于参考的 360° 无界场景修复的增强式不可见区域对齐
计算机视觉与模式识别
2025-04-22 v3
摘要
三维场景修复对于从虚拟现实到建筑可视化的应用至关重要，然而现有方法在 360° 无界场景中的视图一致性和几何精度方面存在困难。我们提出了 AuraFusion360，这是一种新颖的基于参考的方法，能够在由高斯泼溅表示的三维场景中实现高质量的物体移除和空洞填充。我们的方法引入了：（1）深度感知的不可见掩码生成，用于精确的遮挡识别；（2）自适应引导深度扩散，一种零样本方法，用于精确的初始点放置，无需额外训练；（3）基于 SDEdit 的细节增强，用于多视图一致性。我们还引入了 360-USID，这是第一个用于 360° 无界场景修复并带有真实值的综合数据集。大量实验表明，AuraFusion360 显著优于现有方法，在剧烈的视角变化下实现了卓越的感知质量，同时保持了几何精度。
引用
@article{arxiv.2502.05176,
title = {AuraFusion360: Augmented Unseen Region Alignment for Reference-based 360{\deg} Unbounded Scene Inpainting},
author = {Chung-Ho Wu and Yang-Jung Chen and Ying-Huan Chen and Jie-Ying Lee and Bo-Hsu Ke and Chun-Wei Tuan Mu and Yi-Chuan Huang and Chin-Yang Lin and Min-Hung Chen and Yen-Yu Lin and Yu-Lun Liu},
journal= {arXiv preprint arXiv:2502.05176},
year = {2025}
}
备注
Paper accepted to CVPR 2025. Project page: https://kkennethwu.github.io/aurafusion360/