使数据集多样化：通过对抗数据集中受控方差分析泛化能力
计算与语言
2019-10-22 v1
摘要
针对特定现象的“对抗”数据集近来被设计用于对相关推理类型执行定向压力测试。近期工作（Liu et al., 2019a）提出此类数据集可用于训练NLI及其他类型模型，通常能令模型学习所关注现象并提升在挑战集上的表现，表明原始训练数据存在“盲点”。然而，尽管模型可在此类训练过程中改进，其仍可能易受其他针对同一现象但取自不同分布（如具有不同句法复杂度水平）的挑战数据集攻击。本工作中，我们扩展该方法，通过在对抗数据集中控制额外方面，以推导关于模型学习与泛化目标现象而非“学习”某数据集的能力的结论。我们在两种推理现象——与格交替与数值推理——上演示了我们的方法，详述并在某些情况下反驳了Liu等人的结果。我们的方法学能够构建更好的挑战数据集以创建更鲁棒的模型，并可能带来更好的模型理解及随后的整体性改进。
引用
@article{arxiv.1910.09302,
title = {Diversify Your Datasets: Analyzing Generalization via Controlled Variance in Adversarial Datasets},
author = {Ohad Rozen and Vered Shwartz and Roee Aharoni and Ido Dagan},
journal= {arXiv preprint arXiv:1910.09302},
year = {2019}
}
备注
CoNLL 2019