Style3D:面向 3D 对象生成的多视角注意力引导风格迁移
计算机视觉与模式识别
2024-12-05 v1
摘要
我们提出了 Style3D,这是一种用于从内容图像和风格图像生成风格化 3D 对象的新方法。不同于大多数需要特定情况或风格特定训练的先前方法,Style3D 支持即时 3D 对象风格化。我们的关键洞察是,3D 对象风格化可以分解为两个相互关联的过程:多视角双特征对齐和稀疏视角空间重建。我们引入了 MultiFusion 注意力,这是一种注意力引导的技术,用于从内容-风格对实现多视角风格化。具体而言,来自内容图像的查询特征在多个视角上保持几何一致性,而来自风格图像的键和值特征用于引导风格迁移。这种双特征对齐确保了跨多视角图像的空间一致性和风格保真性。最后,引入一个大型 3D 重建模型来生成连贯的风格化 3D 对象。通过在多个视角之间建立结构特征和风格特征之间的相互作用,我们的方法实现了整体性的 3D 风格化过程。广泛的实验表明,Style3D 为生成风格一致的 3D 资产提供了更灵活且可扩展的解决方案,在计算效率和视觉质量方面均优于现有方法。
引用
@article{arxiv.2412.03571,
title = {Style3D: Attention-guided Multi-view Style Transfer for 3D Object Generation},
author = {Bingjie Song and Xin Huang and Ruting Xie and Xue Wang and Qing Wang},
journal= {arXiv preprint arXiv:2412.03571},
year = {2024}
}