ELODI：用于正向一致训练的集成对数差异抑制
机器学习
2024-04-23 v3 计算机视觉与模式识别
摘要
负翻转是更新旧模型时分类系统引入的错误。现有降低负翻转率（NFR）的方法要么以整体精度为代价强制新模型模仿旧模型，要么使用集成，使推理成本倍增到 prohibitive 程度。我们分析集成在降低 NFR 中的作用，观察到它们消除了通常远离决策边界、但常在其对数间距离上呈现大偏差的负翻转。基于该观察，我们提出一种称为集成对数差异抑制（ELODI）的方法，以训练在错误率与 NFR 上均达标杆性能、且推理成本为单模型开销的分类系统。该方法将同质集成蒸馏至用于更新分类系统的单一学生模型。ELODI 还引入广义蒸馏目标——对数差异抑制（LDI），其仅惩罚具最高对数值的类子集的对数差异。在多个图像分类基准上，采用 ELODI 的模型更新展现出优越的精度保持与 NFR 降低。
引用
@article{arxiv.2205.06265,
title = {ELODI: Ensemble Logit Difference Inhibition for Positive-Congruent Training},
author = {Yue Zhao and Yantao Shen and Yuanjun Xiong and Shuo Yang and Wei Xia and Zhuowen Tu and Bernt Schiele and Stefano Soatto},
journal= {arXiv preprint arXiv:2205.06265},
year = {2024}
}
备注
Accepted as a Regular Paper in TPAMI. Code is at https://github.com/amazon-science/regression-constraint-model-upgrade