NLP 中记忆化行为的实证研究
计算与语言
2022-03-24 v1
摘要
Feldman（2020）近期提出了一项长尾理论来解释深度学习模型的记忆化行为。然而，记忆化尚未在自然语言处理（NLP）背景下得到实证验证，本工作填补了这一空白。在本文中，我们使用三种不同的 NLP 任务来检验长尾理论是否成立。我们的实验表明，排名靠前的被记忆训练样本往往是非典型的，且移除排名最前的被记忆训练样本比随机移除训练样本会导致更严重的测试准确率下降。此外，我们开发了一种归因方法来更好地理解训练样本被记忆的原因。我们实证表明，我们的记忆化归因方法是可靠的，并分享了有趣发现：训练样本中被记忆最多的部分往往是与类标签负相关的特征。
引用
@article{arxiv.2203.12171,
title = {An Empirical Study of Memorization in NLP},
author = {Xiaosen Zheng and Jing Jiang},
journal= {arXiv preprint arXiv:2203.12171},
year = {2022}
}
备注
ACL 2022. Code & data available at https://github.com/xszheng2020/memorization