回归错误就在你的模型中！NLP模型更新中的回归度量、消减与分析
计算与语言
2021-05-10 v1
摘要
深度神经网络在不同版本之间的行为可能不一致。模型更新过程中的回归错误是普遍令人担忧的问题，其负面影响常常超过准确率或效率提升带来的益处。本文致力于量化、消减并分析NLP模型更新中的回归错误。以负翻转率作为回归度量，我们表明在GLUE基准的各任务中回归现象普遍存在。我们将无回归模型更新表述为一个约束优化问题，并进一步将其化简为一种松弛形式，可通过知识蒸馏训练方法近似优化。我们通过实证分析了模型集成如何减少回归。最后，我们采用CheckList行为测试来理解回归在语言现象上的分布，以及集成与蒸馏方法的效果。
引用
@article{arxiv.2105.03048,
title = {Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates},
author = {Yuqing Xie and Yi-an Lai and Yuanjun Xiong and Yi Zhang and Stefano Soatto},
journal= {arXiv preprint arXiv:2105.03048},
year = {2021}
}
备注
13 pages, 3 figures, Accepted at ACL 2021 main conference