$\rm{C {\small IS}}^2$：一种面向故事散文的简化常识推理评估
计算与语言
2022-10-21 v4
摘要
Transformer 在多种任务上已展现出接近人类的表现，但并非没有局限。我们讨论了同时被指示执行多任务的 Transformer 其结果被混淆的问题。我们特别关注故事散文中的常识推理领域，称之为上下文常识推理（CCI）。我们考察了 GLUCOSE（Mostafazadeh et al. 2020）数据集及用于预测故事句子间隐式常识推理的任务。由于 GLUCOSE 任务同时生成句子并预测 CCI 关系，其结果存在混淆：模型真正度量的是 CCI，还是其生成语法正确文本的能力在支撑结果？本文引入句子选择中的上下文常识推理（）任务，这是一种通过彻底消除语言生成来避免混淆的简化任务。我们的发现强调了未来工作有必要将语言生成与手头所需的 NLP 任务解耦。
引用
@article{arxiv.2202.07880,
title = {$\rm{C {\small IS}}^2$: A Simplified Commonsense Inference Evaluation for Story Prose},
author = {Bryan Li and Lara J. Martin and Chris Callison-Burch},
journal= {arXiv preprint arXiv:2202.07880},
year = {2022}
}
备注
Published at the Workshop on Commonsense Representation and Reasoning (CSRR) @ ACL 2022