EMNLP 2019 期间喝了多少咖啡？费米问题：人工智能的一项新推理挑战
计算与语言
2021-12-22 v2 人工智能
摘要
许多现实世界的问题需要综合运用多种推理能力，采用合适的抽象、常识性知识以及解题策略的创造性综合。为助力推进人工智能系统具备此类能力，我们提出了一种新的推理挑战，即费米问题（Fermi Problems, FPs），这类问题的答案只能近似估计，因为其精确计算要么不切实际要么不可能。例如，“如果世界上所有冰都融化，海平面会上升多少？”费米问题常用于测验和面试中，以激发并评估人类的创造性推理能力。为对人工智能系统做同样的事，我们提出了两个数据集：1）从测验和竞赛中收集的 1k 个真实世界费米问题；2）一个包含 10k 个中等复杂度合成费米问题的题库，作为更困难真实世界挑战的沙盒。除问答对外，数据集还包含以可执行程序和支撑事实形式给出的详细解答，有助于对中间步骤的监督与评估。我们证明，即便经过广泛微调的大规模语言模型在这些数据集上表现也很差，平均估计偏差达两个数量级。因此，我们的贡献是将若干未解决的人工智能问题凝练为一个单一的新挑战，希望借此推动能进行推理的系统构建取得进一步进展。
引用
@article{arxiv.2110.14207,
title = {How Much Coffee Was Consumed During EMNLP 2019? Fermi Problems: A New Reasoning Challenge for AI},
author = {Ashwin Kalyan and Abhinav Kumar and Arjun Chandrasekaran and Ashish Sabharwal and Peter Clark},
journal= {arXiv preprint arXiv:2110.14207},
year = {2021}
}
备注
Accepted for publication at EMNLP 2021, 11 pages, 5 tables, 4 figures