SocialIQA：关于社会互动的常识推理基准
计算与语言
2019-09-10 v3
摘要
我们介绍了 Social IQa，这是首个关于社会情境常识推理的大规模基准。Social IQa 包含 38,000 道多项选择题，用于探究各种日常情境中的情感与社会智能（例如，问：“Jordan 想告诉 Tracy 一个秘密，所以 Jordan 朝 Tracy 倾身。Jordan 为什么这样做？”答：“确保没有其他人能听到”）。通过众包，我们收集了关于社会互动的常识问题以及正确和错误答案，采用一种新框架，通过让标注者提供另一个不同但相关问题的正确答案，来减轻错误答案中的文体伪迹。实证结果表明，与人类表现（>20% 差距）相比，我们基于预训练语言模型的现有问答模型在该基准上面临挑战。值得注意的是，我们进一步确立 Social IQa 作为常识知识迁移学习的资源，在多个常识推理任务（Winograd Schemas、COPA）上取得了最先进的性能。
引用
@article{arxiv.1904.09728,
title = {SocialIQA: Commonsense Reasoning about Social Interactions},
author = {Maarten Sap and Hannah Rashkin and Derek Chen and Ronan LeBras and Yejin Choi},
journal= {arXiv preprint arXiv:1904.09728},
year = {2019}
}
备注
the first two authors contributed equally; accepted to EMNLP 2019; camera ready version