CLEVRER-Humans：以人类方式描述物理与因果事件
人工智能
2025-05-28 v2 计算与语言
计算机视觉与模式识别
机器学习
机器学习
摘要
构建能够对物理事件及其因果关系进行推理的机器，对于与物理世界的灵活交互至关重要。然而，大多数现有的物理与因果推理基准仅基于合成生成的事件以及因果关系的合成自然语言描述。这一设计带来了两个问题。首先，事件类型和自然语言描述都缺乏多样性；其次，基于手动定义启发式的因果关系不同于人类判断。为解决这两个缺陷，我们提出 CLEVRER-Humans 基准，一个带有人类标注的物理事件因果判断视频推理数据集。我们采用两种技术来提高数据收集效率：第一，一种新颖的迭代事件完形填空任务，以引出视频中事件的新表示，我们称之为因果事件图（CEGs）；第二，一种基于神经语言生成模型的数据增强技术。我们将收集的 CEGs 转换为问答以与先前工作保持一致。最后，我们研究了一系列用于 CLEVRER-Humans 问答的基线方法，凸显了我们的基准所提出的巨大挑战。
引用
@article{arxiv.2310.03635,
title = {CLEVRER-Humans: Describing Physical and Causal Events the Human Way},
author = {Jiayuan Mao and Xuelin Yang and Xikun Zhang and Noah D. Goodman and Jiajun Wu},
journal= {arXiv preprint arXiv:2310.03635},
year = {2025}
}
备注
Version 3. NeurIPS 2022 (Dataset and Benchmark Track). First two authors contributed equally. Project page: https://sites.google.com/stanford.edu/clevrer-humans/home