数据增强能否改善 NLP 中的泛化能力？
计算与语言
2020-10-12 v2
摘要
神经模型常利用表层特征取得良好性能，而非习得更具泛化性的特征。克服这一倾向是表示学习与机器学习公平性等领域的核心挑战。近期工作提出使用数据增强，即生成表层特征失效的训练样本，以鼓励模型偏好更强的特征。我们设计了一系列玩具学习问题，以检验“数据增强使模型遗忘较弱启发式，但不会习得更强特征取而代之”的假设。我们找到了对该假设的部分支持：数据增强往往先有害后有益，且当偏好的强特征比竞争的弱特征难提取得多时，其效果更差。
引用
@article{arxiv.2004.15012,
title = {Does Data Augmentation Improve Generalization in NLP?},
author = {Rohan Jha and Charles Lovering and Ellie Pavlick},
journal= {arXiv preprint arXiv:2004.15012},
year = {2020}
}