多模态 UNcommonsense：从稀奇到普通，普通到稀奇
计算机视觉与模式识别
2026-02-03 v1 人工智能
摘要
多模态情境下的常识推理是人工智能中的一项基础性挑战。我们引入多模态 UNcommonsense（MUN），一个基准数据集，旨�评估模型处理偏离典型视觉或情境期望情景的能力。MUN 将视觉场景与以自然语言描述的惊讶或不太可能的结局配对，引导模型要么使用日常逻辑解释看似奇异的图像，要么揭示普通场景中意外的解释。为支持此任务，我们提出一种基于检索的情境学习（R-ICL）框架，通过无需额外训练的方式将推理能力从大型模型迁移到小型模型。利用新颖的多模态集成检索器（MER），该方法即使在图像和文本对刻意不协调时，也能识别语义相关的 exemplars。实验表明，R-ICL 在平均提升了 8.3% 的基准 ICL 方法，凸显了其在低频、非典型情境中的有效性。MUN 为评估和改进视觉语言模型在真实世界、文化多样化和非原型情景下的鲁棒性和适应性开辟了新方向。
引用
@article{arxiv.2602.01561,
title = {Multimodal UNcommonsense: From Odd to Ordinary and Ordinary to Odd},
author = {Yejin Son and Saejin Kim and Dongjun Min and Younjae Yu},
journal= {arXiv preprint arXiv:2602.01561},
year = {2026}
}
备注
24 pages