通过权重插值实现数据更新时的向后兼容性
机器学习
2023-01-26 v1 计算与语言
摘要
模型预测的向后兼容性是更新机器学习驱动应用时的期望属性。它允许无缝改进底层模型而不引入回归缺陷。在分类任务中，这些缺陷以负翻转的形式出现，即一个被旧模型正确分类的实例被更新后的模型错误分类。这对这类系统的用户体验有直接的负面影响，例如一个常用语音助手查询突然被误分类。更新模型的常见原因是新训练数据可用并需被纳入。仅用更新后的数据重新训练模型会引入不希望出现的负翻转。我们研究数据更新过程中的回归问题，并提出向后兼容权重插值（BCWI）。该方法在旧模型与新模型权重间进行插值，并通过大量实验表明其能在不牺牲新模型更高准确率的前提下减少负翻转。BCWI 实现直接且不会增加推理成本。我们还探索了在插值过程中使用重要性加权以及平均多个新模型权重以进一步减少负翻转。
引用
@article{arxiv.2301.10546,
title = {Backward Compatibility During Data Updates by Weight Interpolation},
author = {Raphael Schumann and Elman Mansimov and Yi-An Lai and Nikolaos Pappas and Xibin Gao and Yi Zhang},
journal= {arXiv preprint arXiv:2301.10546},
year = {2023}
}