他自以为比医生更懂: BERT 用于事件真实性预测在语用推理上失效
计算与语言
2021-07-05 v1
摘要
我们考察了 BERT 在多个涵盖不同语言结构的现有英文数据集上预测真实性的表现。尽管 BERT 在大多数数据集上取得了强劲性能，但其依赖于利用与特定真实性标签相关的常见表层模式，并在需要进行语用推理的实例上失效。与高性能所暗示的相反，我们距离拥有一个鲁棒的真实性预测系统仍相去甚远。
引用
@article{arxiv.2107.00807,
title = {He Thinks He Knows Better than the Doctors: BERT for Event Factuality Fails on Pragmatics},
author = {Nanjiang Jiang and Marie-Catherine de Marneffe},
journal= {arXiv preprint arXiv:2107.00807},
year = {2021}
}
备注
to be published in TACL, pre-MIT Press publication version