UniGame：将统一多模态模型变成其自身的对手
机器学习
2026-03-31 v3 人工智能
计算机视觉与模式识别
摘要
统一多模态模型(UMMs)在理解和生成方面都显示出惊人的性能，仅使用一个体系结构。然而，UMMs仍然存在根本性不一致性：理解偏好紧凑嵌入，而生成偏好重建丰富的表示。这种结构性权衡导致决策边界错位、跨模态连贯性下降以及在分布式和对抗性偏移下的高度脆弱性。在本文中，我们提出了UniGame——一个自对抗后训练框架，直接针对这种不一致性。通过在共享token界面上应用轻量级扰动器，UniGame使生成分支能够主动寻求并挑战脆弱的理解，将模型本身变成其自身的对手。实验表明，UniGame显著提高了一致性(+4.6%)。此外，它还在理解(+3.6%)、生成(+0.02)、分布外和对抗鲁棒性(+4.8%和+6.2%分别在NaturalBench和AdVQA上)方面都实现了显著的改进。该框架是无关体系结构的，引入的额外参数不足1%，且与现有后训练方法是互补的。这些结果将对增强未来多模态基础模型的连贯性、稳定性和统一能力具有 general和有效的原则定位。官方代码可在https://github.com/AIFrontierLab/TorchUMM获取。
引用
@article{arxiv.2511.19413,
title = {UniGame: Turning a Unified Multimodal Model Into Its Own Adversary},
author = {Zhaolong Su and Wang Lu and Hao Chen and Sharon Li and Jindong Wang},
journal= {arXiv preprint arXiv:2511.19413},
year = {2026}
}
备注
Accepted to CVPR 2026