度量与降低自然语言处理结构化预测中的模型更新回归
计算与语言
2022-10-11 v2 人工智能
机器学习
摘要
深度学习的近期进展促使基于机器学习的 NLP 模型在广泛应用中被快速采用。尽管准确率持续提升，向后兼容性对于工业应用亦是重要方面，却鲜受研究关注。向后兼容性要求新模型不会在其前代模型已正确处理的样本上发生回归。本工作研究结构化预测任务中的模型更新回归。我们选取句法依存解析和对话语义解析作为 NLP 中结构化预测任务的代表性示例。首先，我们度量并分析了不同模型更新设定下的模型更新回归。接着，我们探索并基准测试了现有用于降低模型更新回归的技术，包括模型集成与知识蒸馏。我们进一步提出了一种简单而有效的方法——向后一致重排序（BCR），其考虑了结构化预测的特性。实验表明，BCR 比模型集成和知识蒸馏方法能更好地缓解模型更新回归。
引用
@article{arxiv.2202.02976,
title = {Measuring and Reducing Model Update Regression in Structured Prediction for NLP},
author = {Deng Cai and Elman Mansimov and Yi-An Lai and Yixuan Su and Lei Shu and Yi Zhang},
journal= {arXiv preprint arXiv:2202.02976},
year = {2022}
}
备注
NeurIPS2022