中文

FROMAT:基于few-shot自注意力适应的多视角材质外观传递

计算机视觉与模式识别 2025-12-11 v1

摘要

多视角扩散模型快速涌现为内容创建强大工具,能够在不同视点间保持空间一致性,提供丰富的视觉逼真度,无需显式几何和外观表示。然而,与网格或辐射场相比,现有多视角扩散模型在外观操控方面有限,尤其是材质、纹理或风格。本文提出一种轻量级适应技术,用于多视角扩散模型的外观传递。我们的方法学习将输入图像中的物体身份与单独参考图像中渲染的外观线索组合,产生反映所需材质、纹理或风格的多视角一致输出,同时保留底层物体几何和视角一致性。我们利用三个扩散去噪过程分别生成原始物体、参考图像和目标图像,执行逆采样以聚合来自物体和参考图像的少量层级自注意力特征,以影响目标生成。该方法仅需少量训练样本即可为预训练的多视角模型引入外观感知。实验表明,我们的方法为多视角生成提供了一种简单而有效的方式,以实现多样化外观,倡导在实际中采用隐式生成式 3D 表示。

关键词

引用

@article{arxiv.2512.09617,
  title  = {FROMAT: Multiview Material Appearance Transfer via Few-Shot Self-Attention Adaptation},
  author = {Hubert Kompanowski and Varun Jampani and Aaryaman Vasishta and Binh-Son Hua},
  journal= {arXiv preprint arXiv:2512.09617},
  year   = {2025}
}