MUSAR:通过注意力路由从单主体数据集探索多主体定制
计算机视觉与模式识别
2025-05-06 v1
摘要
当前的多主体定制方法面临两个关键挑战:难以获取多样化的多主体训练数据,以及不同主体之间的属性纠缠。为了弥合这些差距,我们提出了 MUSAR——一个简单而有效的框架,仅需单主体训练数据即可实现稳健的多主体定制。首先,为了打破数据限制,我们引入了去偏双联学习。它从单主体图像构建双联训练对以促进多主体学习,同时通过静态注意力路由和双分支 LoRA 主动纠正双联构建引入的分布偏差。其次,为了消除跨主体纠缠,我们引入了动态注意力路由机制,该机制在生成图像与条件主体之间自适应地建立双射映射。这种设计不仅实现了多主体表征的解耦,而且在参考主体数量增加时保持了可扩展的泛化性能。综合实验表明,尽管仅需单主体数据集,我们的 MUSAR 在图像质量、主体一致性和交互自然性方面均优于现有方法——甚至优于那些在多主体数据集上训练的方法。
引用
@article{arxiv.2505.02823,
title = {MUSAR: Exploring Multi-Subject Customization from Single-Subject Dataset via Attention Routing},
author = {Zinan Guo and Pengze Zhang and Yanze Wu and Chong Mou and Songtao Zhao and Qian He},
journal= {arXiv preprint arXiv:2505.02823},
year = {2025}
}
备注
Project page at https://github.com/guozinan126/MUSAR