PIQA：自然语言中的物理常识推理
计算与语言
2019-11-27 v1 人工智能
机器学习
摘要
要在没有刷子的情况下涂眼影，我应该用棉签还是牙签？这类需要物理常识的问题对当今的自然语言理解系统构成了挑战。尽管近期预训练模型（如 BERT）在更抽象领域（如新闻报道与百科条目，其中文本丰富）的问答上取得了进展，但在更物理化的领域中，由于报道偏差，文本 inherently 有限。AI 系统能否在不体验物理世界的情况下可靠地回答物理常识问题？本文引入物理常识推理任务及相应基准数据集 Physical Interaction: Question Answering（简称 PIQA）。尽管人类在该数据集上表现轻松（准确率 95%），大型预训练模型却表现不佳（77%）。我们分析了现有模型所缺乏的知识维度，这为未来研究提供了重要机遇。
引用
@article{arxiv.1911.11641,
title = {PIQA: Reasoning about Physical Commonsense in Natural Language},
author = {Yonatan Bisk and Rowan Zellers and Ronan Le Bras and Jianfeng Gao and Yejin Choi},
journal= {arXiv preprint arXiv:1911.11641},
year = {2019}
}
备注
AAAI 2020