中文

统一离散流匹配:多模态推理与生成的双赢之道

计算机视觉与模式识别 2026-02-13 v1

摘要

我们提出UniDFlow,一个用于多模态理解、生成和编辑的统一离散流匹配框架。它通过任务特定的低秩适配器解耦理解与生成,避免目标干扰和表征 entanglement;同时,一种新颖的基于参考的多模态偏好对齐优化在相同条件下的相对结果,提高忠实性和可控性,无需大规模重新训练。UniDFlow在八个基准测试上实现SOTA性能,并在包括图像修复、上下文图像生成、参考图像编辑和组合生成等任务上表现出强大的零样本泛化,尽管没有明确的任务特定训练。

关键词

引用

@article{arxiv.2602.12221,
  title  = {Best of Both Worlds: Multimodal Reasoning and Generation via Unified Discrete Flow Matching},
  author = {Onkar Susladkar and Tushar Prakash and Gayatri Deshmukh and Kiet A. Nguyen and Jiaxun Zhang and Adheesh Juvekar and Tianshu Bao and Lin Chai and Sparsh Mittal and Inderjit S Dhillon and Ismini Lourentzou},
  journal= {arXiv preprint arXiv:2602.12221},
  year   = {2026}
}