MRCLens：一个机器阅读理解数据集偏差检测工具包
计算与语言
2022-07-20 v1 机器学习
摘要
许多近期的神经模型在机器阅读理解中展现出显著的实证结果，但有证据表明，模型有时利用数据集偏差进行预测，并无法对样本外数据泛化。尽管已有许多其他方法从计算视角（如新架构或训练流程）解决此问题，我们认为一种能让研究者在更早阶段发现偏差并调整数据或模型的方法将是有益的。因此，我们引入 MRCLens，一个在用户训练完整模型之前检测是否存在偏差的工具包。为便于介绍该工具包，我们还提供了对 MRC 中常见偏差的分类。
引用
@article{arxiv.2207.08943,
title = {MRCLens: an MRC Dataset Bias Detection Toolkit},
author = {Yifan Zhong and Haohan Wang and Eric P. Xing},
journal= {arXiv preprint arXiv:2207.08943},
year = {2022}
}
备注
dataperf workshop at IMCL