跨域评估多模态链式思考推理：Amazon CoT框架中的不同数据集
人工智能
2025-11-27 v1 机器学习
摘要
虽然近期工作将链式思考（CoT）扩展至多模态环境，取得了在ScienceQA等科学问答基准测试上的领先成绩，但这些方法在跨领域的通用性尚未得到充分探讨。本工作提出了对多模态链式思考（Multimodal-CoT）推理的全面分析，评估其在A-OKVQA、OKVQA和ChartQA数据集上的有效性，这些数据集要求运用超越科学推理的广泛常识与世界知识。我们实现了Zhang等人提出的两阶段框架，将 rationale 生成与答案推断分离，并通过门控融合机制将视觉特征整合到基于T5的语言模型中。通过系统消融研究，我们分析了视觉特征、rationale质量及架构选择的贡献。我们的发现表明，虽然视觉集成显著降低了rationale 生成中的幻觉现象，但CoT推理的效果在不同问答类型间差异显著，尤其在常识推理方面存在挑战。本工作为研究人员实现多模态推理系统提供了实用见解，并在跨域泛化方面识别了关键改进方向。
关键词
引用
@article{arxiv.2511.20701,
title = {Cross Domain Evaluation of Multimodal Chain-of-Thought Reasoning of different datasets into the Amazon CoT Framework},
author = {Nitya Tiwari and Parv Maheshwari and Vidisha Agarwal},
journal= {arXiv preprint arXiv:2511.20701},
year = {2025}
}