统一多模态模型中理解是否信息化生成？从分析到路径展望
计算机视觉与模式识别
2025-12-02 v2 计算与语言
摘要
近年来，统一多模态模型取得了显著进展，但仍有一个根本问题值得关注：理解是否真正信息化生成？为此，我们引入 UniSandbox，一个解耦的评估框架，配合受控的合成数据集以避免数据泄漏并实现详细分析。我们的发现揭示了显著的理解-生成间隙，这主要体现在两个关键维度上：推理生成和知识传递。具体而言，对于推理生成任务，我们观察到理解模块中的显式链式思考（Chain-of-Thought, CoT）有效弥合了这一间隙，并进一步演示了一种自训练方法可以成功内化这种能力，使其在生成期间实现隐式推理。此外，对于知识传递任务，我们发现 CoT 通过帮助检索新学习的知识来辅助生成过程，同时也发现查询-基于架构本质上具有潜在的 CoT 类特性，这会影响这一传递。UniSandbox 为设计未来真正弥合理解与生成之间差距的统一架构和训练策略提供了初步见解。代码和数据可在 https://github.com/PKU-YuanGroup/UniSandBox 获取。
关键词
引用
@article{arxiv.2511.20561,
title = {Does Understanding Inform Generation in Unified Multimodal Models? From Analysis to Path Forward},
author = {Yuwei Niu and Weiyang Jin and Jiaqi Liao and Chaoran Feng and Peng Jin and Bin Lin and Zongjian Li and Bin Zhu and Weihao Yu and Li Yuan},
journal= {arXiv preprint arXiv:2511.20561},
year = {2025}
}