UniPath：面向统一多模态推理的理解与生成自适应协调
多媒体
2026-05-13 v1
摘要
统一多模态模型旨在将理解与生成集成到单一架构中。然而，如何有效协调这两种能力以实现更有效和高效的推理，仍有待探索。现有的协调方法要么在训练期间进行耦合，没有显式的推理时协调，要么对所有输入施加固定的协调模式。在这项工作中，我们表明多模态任务展现出显著的协调路径多样性：不同的输入偏好不同的协调路径。这表明利用这种多样性是提高性能的关键。我们提出 UniPath，一个用于自适应建模和利用协调路径多样性的框架。我们不强制采用单一的协调模式，而是将任务求解表示为路径的选择和执行，范围从直接回答到文本推理、视觉思维构建和基于假设的探索。我们构建角色对齐的轨迹来训练路径条件执行器，并引入一个轻量级规划器机制以实现依赖输入的路径选择。实验表明，利用协调路径多样性比固定协调策略提高了性能，同时提供了可解释的中间行为。代码可在以下地址获取：https://github.com/AIFrontierLab/TorchUMM/tree/main/src/umm/post_training/unipath。
引用
@article{arxiv.2605.11400,
title = {UniPath: Adaptive Coordination of Understanding and Generation for Unified Multimodal Reasoning},
author = {Hayes Bai and Yinyi Luo and Wenwen Wang and Qingsong Wen and Jindong Wang},
journal= {arXiv preprint arXiv:2605.11400},
year = {2026}
}