正一致训练：迈向无回归的模型更新
计算机视觉与模式识别
2021-05-19 v3 机器学习
摘要
在实践中，减少 AI 系统不同版本行为的不一致性，可能与降低其整体错误率同样重要。在图像分类中，样本级的不一致性表现为“负翻转”：新模型对某个测试样本的预测错误，而旧（参考）模型曾正确分类该样本。正一致（PC）训练旨在降低错误率的同时减少负翻转，从而仅在正预测上与参考模型最大化一致性，这与模型蒸馏不同。我们提出了一种用于 PC 训练的简便方法——焦点蒸馏（Focal Distillation），它通过给正确分类的样本更大权重来强制与参考模型一致。我们还发现，若参考模型本身可选为多个深度神经网络的集成，则可在不影响新模型准确率的前提下进一步减少负翻转。
引用
@article{arxiv.2011.09161,
title = {Positive-Congruent Training: Towards Regression-Free Model Updates},
author = {Sijie Yan and Yuanjun Xiong and Kaustav Kundu and Shuo Yang and Siqi Deng and Meng Wang and Wei Xia and Stefano Soatto},
journal= {arXiv preprint arXiv:2011.09161},
year = {2021}
}
备注
Accepted to CVPR 2021 (oral)