中文

MUSAR:通过注意力路由从单主体数据集探索多主体定制

计算机视觉与模式识别 2025-05-06 v1

摘要

当前的多主体定制方法面临两个关键挑战:难以获取多样化的多主体训练数据,以及不同主体之间的属性纠缠。为了弥合这些差距,我们提出了 MUSAR——一个简单而有效的框架,仅需单主体训练数据即可实现稳健的多主体定制。首先,为了打破数据限制,我们引入了去偏双联学习。它从单主体图像构建双联训练对以促进多主体学习,同时通过静态注意力路由和双分支 LoRA 主动纠正双联构建引入的分布偏差。其次,为了消除跨主体纠缠,我们引入了动态注意力路由机制,该机制在生成图像与条件主体之间自适应地建立双射映射。这种设计不仅实现了多主体表征的解耦,而且在参考主体数量增加时保持了可扩展的泛化性能。综合实验表明,尽管仅需单主体数据集,我们的 MUSAR 在图像质量、主体一致性和交互自然性方面均优于现有方法——甚至优于那些在多主体数据集上训练的方法。

关键词

引用

@article{arxiv.2505.02823,
  title  = {MUSAR: Exploring Multi-Subject Customization from Single-Subject Dataset via Attention Routing},
  author = {Zinan Guo and Pengze Zhang and Yanze Wu and Chong Mou and Songtao Zhao and Qian He},
  journal= {arXiv preprint arXiv:2505.02823},
  year   = {2025}
}

备注

Project page at https://github.com/guozinan126/MUSAR