机器阅读，快与慢：模型何时“理解”语言？
计算与语言
2022-09-16 v1
摘要
当前自然语言理解（NLU）中最基本的两个挑战是：(a) 如何确定基于深度学习的模型在 NLU 基准上取得高分是出于“正确”的原因；以及 (b) 理解那些原因究竟会是什么。我们针对两项语言“技能”——共指消解与比较，考察阅读理解模型的行为。我们提出对“慢速阅读”系统所预期推理步骤的定义，并通过显著性分数与反事实解释，观察 BERT 家族中五种不同规模模型的行为以作比较。我们发现，对于比较（而非共指）任务，基于较大编码器的系统更可能依赖“正确”的信息，但即便它们也难以泛化，表明其仍在学习特定的词汇模式而非比较的一般原则。
引用
@article{arxiv.2209.07430,
title = {Machine Reading, Fast and Slow: When Do Models "Understand" Language?},
author = {Sagnik Ray Choudhury and Anna Rogers and Isabelle Augenstein},
journal= {arXiv preprint arXiv:2209.07430},
year = {2022}
}
备注
Accepted COLING 2022