关注纹理的 U-Attention：用于通用纹理合成的多阶段沙漏视觉 Transformer
计算机视觉与模式识别
2024-08-09 v3 图形学
图像与视频处理
摘要
我们提出了一种用于通用纹理合成的新型 U-Attention 视觉 Transformer。我们利用注意力机制所具备的天然长程依赖，使我们的方法能够在单次推理中合成多样化纹理的同时保留其结构。我们提出了一种分层沙漏骨干网络，该网络关注全局结构，并在由粗到细再到粗的流中于不同尺度上执行块映射。通过跳跃连接和卷积设计来在不同尺度上传播和融合信息，我们的分层 U-Attention 架构统一了对从宏观结构到微观细节特征的关注，并在连续阶段中逐步精炼合成结果。我们的方法在随机与结构化纹理上均实现了比先前工作更强的 2 合成能力，同时无需微调即可泛化至未见过的纹理。消融实验证明了我们架构中各个组件的有效性。
引用
@article{arxiv.2202.11703,
title = {Paying U-Attention to Textures: Multi-Stage Hourglass Vision Transformer for Universal Texture Synthesis},
author = {Shouchang Guo and Valentin Deschaintre and Douglas Noll and Arthur Roullier},
journal= {arXiv preprint arXiv:2202.11703},
year = {2024}
}