MedNLI 并非免疫:临床领域的自然语言推理伪特征
计算与语言
2021-06-04 v1 机器学习
摘要
众包构建的自然语言推理(NLI)数据集已被发现含有与标注过程相关的统计伪特征,使得仅用假设的分类器能取得优于随机的性能(Poliak 等,2018;Gururangan 等,2018;Tsuchiya,2018)。我们考察了 MedNLI——一个前提提取自临床记录、由医师标注的数据集——是否含有此类伪特征(Romanov 和 Shivade,2018)。我们发现,蕴含假设包含前提中特定概念的通用版本,以及与反应性、持续时间和概率相关的修饰语。中立假设具有与前提中状况共存或致其发生的状况和行为。矛盾假设包含对前提的显式否定,以及通过断言健康状态实现的隐式否定。对抗过滤表明,在困难子集上评估时性能会下降。我们提供了划分信息,并为知识密集型领域的替代数据集构建策略给出了建议。
引用
@article{arxiv.2106.01491,
title = {MedNLI Is Not Immune: Natural Language Inference Artifacts in the Clinical Domain},
author = {Christine Herlihy and Rachel Rudinger},
journal= {arXiv preprint arXiv:2106.01491},
year = {2021}
}
备注
8 pages