通过MetaQueries实现跨模态迁移
计算机视觉与模式识别
2025-04-09 v1
摘要
统一的多模态模型旨在整合理解(文本输出)和生成(像素输出)，但在单一架构中对这两种不同模态的对齐往往需要复杂的训练配方和严谨的数据平衡。我们引入MetaQueries，一组可学习的查询，充当自回归多模态大语言模型(MLLM)和扩散模型之间的高效接口。MetaQueries将MLLM的潜在表示连接到扩散解码器，使其能够通过利用MLLM的深度理解和推理能力来实现知识增强的图像生成。我们的方法简化了训练，仅需配对图像-标题数据和标准扩散目标。值得注意的是，即使MLLM主干保持冻结状态，该迁移仍然有效，从而保留了其最先进的多模态理解能力，同时实现卓越的生成性能。此外，我们的方法灵活且可轻松针对高级应用(如图像编辑和主题驱动生成)进行指令调优。
引用
@article{arxiv.2504.06256,
title = {Transfer between Modalities with MetaQueries},
author = {Xichen Pan and Satya Narayan Shukla and Aashu Singh and Zhuokai Zhao and Shlok Kumar Mishra and Jialiang Wang and Zhiyang Xu and Jiuhai Chen and Kunpeng Li and Felix Juefei-Xu and Ji Hou and Saining Xie},
journal= {arXiv preprint arXiv:2504.06256},
year = {2025}
}
备注
Project Page: https://xichenpan.com/metaquery