ECHo：基于以人为中心推理的事件因果推断视觉-语言数据集
人工智能
2023-10-24 v2 计算与语言
计算机视觉与模式识别
摘要
我们介绍 ECHo（基于以人为中心推理的事件因果推断），一个立足于视觉-语言社会场景、用于事件因果推断的诊断数据集。ECHo 利用基于一部电视犯罪剧的真实世界以人为中心的演绎信息。ECHo 需要心智理论（ToM）能力，以基于多模态信息理解并推理社会交互。利用 ECHo，我们提出一个统一的思维链（CoT）框架来评估当前 AI 系统的推理能力。我们增强 ToM 的 CoT 流程可适配多种大型基础模型，支持零样本与少样本视觉-语言推理。我们使用该框架在三项诊断性以人为中心任务上审视近期的大型基础模型，如 InstructGPT 和 MiniGPT-4。进一步分析表明，ECHo 是一个具有挑战性的数据集，可暴露推理中的缺陷与不一致性。我们的数据与代码公开于 https://github.com/YuxiXie/ECHo。
引用
@article{arxiv.2305.14740,
title = {ECHo: A Visio-Linguistic Dataset for Event Causality Inference via Human-Centric Reasoning},
author = {Yuxi Xie and Guanzhen Li and Min-Yen Kan},
journal= {arXiv preprint arXiv:2305.14740},
year = {2023}
}
备注
Findings of EMNLP 2023. 10 pages, 6 figures, 5 tables (22 pages, 8 figures, 15 tables including references and appendices)