面向基于样例的类增量学习的批归一化重平衡
计算机视觉与模式识别
2023-04-19 v3 机器学习
摘要
批归一化（BN）及其变体已在各种计算机视觉任务的神经网络中得到广泛研究，但相对少有工作致力于研究 BN 在持续学习中的影响。为此，我们为 BN 开发了一种新的更新补丁，特别针对基于样例的类增量学习（CIL）定制。CIL 中 BN 的主要问题在于小批量中当前任务与过去任务间训练数据的不平衡，这使得 BN 的经验均值与方差以及可学习的仿射变换参数严重偏向当前任务——导致对过去任务的遗忘。尽管近期一种 BN 变体是为“在线”CIL（以单轮训练完成）而开发，我们表明其方法对于“离线”CIL（模型在不平衡训练数据上以多轮训练）未必带来增益。其方法无效的主要原因在于未充分解决数据不平衡问题，尤其在计算用于学习 BN 仿射变换参数的梯度时。相应地，我们提出了名为任务平衡 BN（TBBN）的无超参数新变体，通过在训练期间使用 reshape 与 repeat 操作构建水平拼接的任务平衡批次，更正确地解决不平衡问题。基于在 CIFAR-100、ImageNet-100 及五个异质任务数据集上的类增量学习实验，我们证明了我们的 TBBN 在推理时与原始 BN 完全一致，易于应用于大多数现有基于样例的离线 CIL 算法，并持续优于其他 BN 变体。
引用
@article{arxiv.2201.12559,
title = {Rebalancing Batch Normalization for Exemplar-based Class-Incremental Learning},
author = {Sungmin Cha and Sungjun Cho and Dasol Hwang and Sunwon Hong and Moontae Lee and Taesup Moon},
journal= {arXiv preprint arXiv:2201.12559},
year = {2023}
}
备注
CVPR 2023 camera ready