SceneTex：基于扩散先验的室内场景高质量纹理合成
计算机视觉与模式识别
2023-11-30 v1
摘要
我们提出SceneTex，一种利用深度到图像扩散先验为室内场景有效生成高质量且风格一致纹理的新方法。不同于以往或将2D视图迭代扭曲到网格表面、或在缺乏准确几何与风格线索的情况下蒸馏扩散隐特征的方案，SceneTex将纹理合成任务表述为RGB空间中的优化问题，其中风格与几何一致性得到恰当体现。其核心是，SceneTex提出一种多分辨率纹理场来隐式编码网格外观。我们通过基于分数蒸馏的目标函数在相应RGB渲染中优化目标纹理。为进一步确保跨视图的风格一致性，我们引入交叉注意力解码器，通过对每个实例中预采样的参考位置进行交叉注意力来预测RGB值。SceneTex为3D-FRONT场景实现了多样且准确的纹理合成，在视觉质量和提示保真度上较先前纹理生成方法取得显著提升。
引用
@article{arxiv.2311.17261,
title = {SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion Priors},
author = {Dave Zhenyu Chen and Haoxuan Li and Hsin-Ying Lee and Sergey Tulyakov and Matthias Nießner},
journal= {arXiv preprint arXiv:2311.17261},
year = {2023}
}
备注
Project website: https://daveredrum.github.io/SceneTex/