PACS：一个用于物理视听常识推理的数据集

为了让 AI 能够安全地部署在医院、学校和职场等真实世界场景中，它必须能够对物理世界进行鲁棒推理。这种推理的基础是物理常识：理解可用物体的物理属性与功能可供性、它们如何被操控以及它们如何与其他物体交互。物理常识推理从根本上说是一项多感官任务，因为物理属性通过多种模态显现——其中两种是视觉与声学。我们的论文通过贡献 PACS 朝着真实世界物理常识推理迈出了一步：首个为物理常识属性标注的视听基准。PACS 包含 13,400 个问答对，涉及 1,377 个独特物理常识问题与 1,526 个视频。我们的数据集通过将音频作为该多模态问题的核心组成部分，为推进物理推理研究领域提供了新机遇。利用 PACS，我们在这一新挑战性任务上评估了多个最先进模型。尽管某些模型展现出有前景的结果（70% 准确率），但它们都未达到人类表现（95% 准确率）。我们在论文结尾论证了多模态推理的重要性，并给出了未来研究的可能途径。