使用门控融合改进NLP模型升级中的预测后向兼容性
计算与语言
2023-02-07 v1
摘要
当将神经模型升级到新版本时，可能会引入旧版本中未遇到的新错误，即回归错误。模型升级中的这种不一致行为往往超过准确率提升带来的好处，并阻碍新模型的采用。为了减轻模型升级带来的回归错误，蒸馏和集成已被证明是可行的解决方案，且不会显著牺牲性能。尽管取得了进展，但这些方法在减少回归方面仅实现了增量改进，仍远未实现后向兼容的模型升级。在这项工作中，我们提出了一种新颖的方法——门控融合，通过学习混合新旧模型的预测来促进后向兼容性。在两个不同的模型升级场景上的实验结果表明，我们的方法平均减少了62%的回归错误，比最强基线平均高出25%。
引用
@article{arxiv.2302.02080,
title = {Improving Prediction Backward-Compatiblility in NLP Model Upgrade with Gated Fusion},
author = {Yi-An Lai and Elman Mansimov and Yuqing Xie and Yi Zhang},
journal= {arXiv preprint arXiv:2302.02080},
year = {2023}
}
备注
Camera-ready for EACL 2023 Findings