通过微调进行接种：一种分析挑战数据集的方法
计算与语言
2019-04-30 v4
摘要
近期构建了若干数据集以暴露基于现有基准训练的模型的脆弱性。尽管模型在这些挑战数据集上的表现相较原始基准显著降低，但尚不清楚它们揭示了何种特定弱点。例如，一个挑战数据集可能困难是因为它针对当前模型无法捕捉的现象，或者仅仅是因为它利用了模型特定训练集中的盲点。我们引入通过微调进行接种，一种通过使模型（隐喻中的患者）接触少量来自挑战数据集的数据（隐喻中的病原体）并评估其适应能力来研究挑战数据集的新分析方法。我们应用我们的方法分析 NLI “压力测试”（Naik 等，2018）与 Adversarial SQuAD 数据集（Jia 和 Liang，2017）。我们表明，在轻微接触后，其中一些数据集不再具有挑战性，而另一些仍困难。我们的结果表明，挑战数据集上的失败可能导致关于模型、训练数据集以及挑战数据集本身极为不同的结论。
引用
@article{arxiv.1904.02668,
title = {Inoculation by Fine-Tuning: A Method for Analyzing Challenge Datasets},
author = {Nelson F. Liu and Roy Schwartz and Noah A. Smith},
journal= {arXiv preprint arXiv:1904.02668},
year = {2019}
}
备注
9 pages, 4 figures; to appear at NAACL 2019