事半功倍：面向鲁棒问答的自然扰动
计算与语言
2020-10-07 v2 人工智能
机器学习
摘要
尽管近期模型在许多 NLP 数据集上取得了人类水平的分数，我们观察到它们对输入中的微小变化相当敏感。作为解决此问题标准方法（构建全新例子的训练集）的替代，我们提议通过对例子的最小扰动来实现。具体而言，我们的方法先收集一组种子例子，然后施加人类驱动的自然扰动（而非基于规则的机器扰动），这常也改变标准答案标签。局部扰动相比从头写出全新例子具有相对更易（因而更便宜）创建的优势。为评估此现象的影响，我们考虑一个近期问答数据集（BoolQ）并研究我们方法作为扰动成本比（扰动现有问题相对于从头创建新问题的相对成本）函数的益处。我们发现当自然扰动创建成本适中更低时，使用它们训练模型更为有效：此类模型展现出更高鲁棒性与更好泛化性，同时在原始 BoolQ 数据集上保持性能。
引用
@article{arxiv.2004.04849,
title = {More Bang for Your Buck: Natural Perturbation for Robust Question Answering},
author = {Daniel Khashabi and Tushar Khot and Ashish Sabharwal},
journal= {arXiv preprint arXiv:2004.04849},
year = {2020}
}
备注
EMNLP 2020