协调注意力：无需训练的纹理感知几何迁移
计算机视觉与模式识别
2024-09-05 v2 人工智能
多媒体
摘要
从摄影图像中独立于表面纹理地提取几何特征并将其迁移到不同材质上，仍然是一个复杂挑战。本研究提出了Harmonizing Attention，一种利用扩散模型进行纹理感知几何迁移的新型无需训练的方法。我们的方法对自注意力层进行了简单而有效的修改，使模型能够在这些层中查询多张参考图像的信息。该机制在逆过程中无缝集成为纹理对齐注意力，在生成过程中无缝集成为几何对齐注意力。这种双注意力方法确保了有效捕获和迁移与材质无关的几何特征，同时保持材质特定的纹理连续性，且无需模型微调。
引用
@article{arxiv.2408.10846,
title = {Harmonizing Attention: Training-free Texture-aware Geometry Transfer},
author = {Eito Ikuta and Yohan Lee and Akihiro Iohara and Yu Saito and Toshiyuki Tanaka},
journal= {arXiv preprint arXiv:2408.10846},
year = {2024}
}
备注
Accepted at WACV2025