部分输入基线的误导性失败
机器学习
2019-06-19 v3 人工智能
计算与语言
机器学习
摘要
近期工作通过部分输入基线（例如 SNLI 的仅假设模型或 VQA 的仅问题模型）来确定数据集难度并移除标注伪影。当部分输入基线获得高准确率时，数据集是可作弊的。然而，逆命题未必成立：部分输入基线的失败并不意味着数据集没有伪影。为说明这一点，我们首先设计了人工数据集，其在完整输入中包含任何部分输入模型都无法察觉的平凡模式。接着，我们在 SNLI 数据集中识别出此类伪影——一个增强了前提中平凡模式的仅假设模型能够解决此前被认为“困难”的 15% 样本。我们的工作为部分输入基线在数据集验证与构建中的使用提供了警示。
引用
@article{arxiv.1905.05778,
title = {Misleading Failures of Partial-input Baselines},
author = {Shi Feng and Eric Wallace and Jordan Boyd-Graber},
journal= {arXiv preprint arXiv:1905.05778},
year = {2019}
}
备注
ACL 2019