RoomPainter：用于一致室内场景纹理化的视角集成扩散模型
计算机视觉与模式识别
2025-04-01 v2
摘要
室内场景纹理合成因其在虚拟现实、数字媒体和创意艺术等领域的重要潜在应用而引发了广泛关注。现有基于扩散模型的研究要么依赖 per-view inpainting 技术，导致严重的跨视图不一致性和明显的接缝问题；要么采用基于优化的方法，计算开销巨大。本文提出了 RoomPainter，一个无缝集成效率与一致性的框架，以实现室内场景的高保真纹理化。RoomPainter 的核心特征是一个零样本技术，有效地将 2D 扩散模型适用于 3D 一致纹理合成，并伴随一个两阶段生成策略确保全局一致性和局部一致性。具体而言，我们引入了受注意力引导的多视角集成抽样 (MVIS)，结合邻域集成注意力机制，用于零样本纹理图生成。使用 MVIS，我们首先生成整个房间的纹理图以确保全局一致性，然后采用其变体——称为受注意力引导的多视角集成重绘抽样 (MVRS)，对房间内的单个实例进行重绘，从而进一步增强局部一致性并解决遮挡问题。实验表明，RoomPainter 在视觉质量、全局一致性和生成效率方面均优于现有方法，为室内场景纹理合成提供了卓越的性能。
引用
@article{arxiv.2412.16778,
title = {RoomPainter: View-Integrated Diffusion for Consistent Indoor Scene Texturing},
author = {Zhipeng Huang and Wangbo Yu and Xinhua Cheng and ChengShu Zhao and Yunyang Ge and Mingyi Guo and Li Yuan and Yonghong Tian},
journal= {arXiv preprint arXiv:2412.16778},
year = {2025}
}