T-CIL：基于对抗扰动的类递增学习温度缩放校准方法
机器学习
2025-03-31 v1
摘要
我们研究了在类递增学习中进行模型置信度校准的问题，类递增学习指的是模型从具有不同类别集合的顺序任务中进行学习。虽然已有工作主要关注准确率，但保持已校准的置信度在很大程度上被忽视了。不幸的是，大多数事后校准技术并不针对类递增学习中典型的有限旧任务数据内存而设计，因而保留足够验证集是不可行的。因此，我们提出了 T-CIL，这是一种无需为旧任务验证集的类递增学习温度缩放方法，利用来自内存的对抗扰动示例。直接使用示例进行温度优化是不够的，因为它们已用于训练。T-CIL 的关键思想是通过调整扰动方向基于特征距离来对旧任务的扰动幅度大于新任务的扰动幅度，并使用新任务的验证集确定单个幅度。这种策略使得从新任务计算的扰动幅度也适用于旧任务，利用旧任务准确率低于新任务准确率的趋势。我们在真实数据集上经验性地表明，T-CIL 在校准方面显著优于各种基线方法，并且可以与现有的类递增学习技术集成，对准确率几乎没有影响。
引用
@article{arxiv.2503.22163,
title = {T-CIL: Temperature Scaling using Adversarial Perturbation for Calibration in Class-Incremental Learning},
author = {Seong-Hyeon Hwang and Minsu Kim and Steven Euijong Whang},
journal= {arXiv preprint arXiv:2503.22163},
year = {2025}
}
备注
Accepted to CVPR 2025