增强类人多模态推理：一个新的挑战性数据集与综合框架
人工智能
2023-09-26 v2
摘要
多模态推理是追求具备类人智能的人工智能系统、尤其是处理复杂任务时的关键组成部分。尽管思维链（CoT）技术已受到相当关注，现有的 ScienceQA 数据集聚焦于来自中小学课本的多模态科学问题与解释，缺乏对多样化方法的综合评估。为弥补这一不足，我们提出 COCO 多模态推理（COCO-MMR）数据集，这是一个新颖的数据集，包含从大型物体数据集 COCO 中衍生的大量开放式问题、推理依据与答案。与以往依赖多选题的数据集不同，我们的数据集在多模态 CoT 背景下首创使用开放式问题，引入了更具挑战性的问题，可有效评估 CoT 模型的推理能力。通过综合评估与详细分析，我们提供了有价值的见解，并提出了包括多跳跨模态注意力与句子级对比学习在内的创新技术，以增强图像与文本编码器。大量实验证明了所提数据集与技术的有效性，为推进多模态推理提供了新视角。数据与代码见 \href{https://github.com/weijingxuan/COCO-MMR}{https://github.com/weijingxuan/COCO-MMR}。
引用
@article{arxiv.2307.12626,
title = {Enhancing Human-like Multi-Modal Reasoning: A New Challenging Dataset and Comprehensive Framework},
author = {Jingxuan Wei and Cheng Tan and Zhangyang Gao and Linzhuang Sun and Siyuan Li and Bihui Yu and Ruifeng Guo and Stan Z. Li},
journal= {arXiv preprint arXiv:2307.12626},
year = {2023}
}