基于扩展 Kronecker 因子近似曲率的持续学习
机器学习
2020-04-17 v1 计算机视觉与模式识别
机器学习
摘要
我们提出了一种针对含批归一化（BN）层的神经网络持续学习的二次惩罚方法。损失函数的 Hessian 表示二次惩罚函数的曲率，而 Kronecker 因子近似曲率（K-FAC）被广泛用于实际计算神经网络的 Hessian。然而，若样本间存在依赖性（通常由深度网络架构中的 BN 层引起），该近似便不成立。我们扩展了 K-FAC 方法，使其考虑样本间关系，并在实际假设下恰当近似深度神经网络的 Hessian。我们还提出了一种权重合并与重参数化方法以妥善处理 BN 的统计参数（其对带 BN 的持续学习起关键作用），以及一种无需源任务数据即可选择超参数的方法。我们的方法在带 BN 层的置换 MNIST 任务中，以及从 ImageNet 分类任务到使用 ResNet-50 的细粒度分类任务的序列学习中，均展现出优于基线的性能，且未以任何显式或隐式方式使用源任务数据进行超参数选择。
引用
@article{arxiv.2004.07507,
title = {Continual Learning with Extended Kronecker-factored Approximate Curvature},
author = {Janghyeon Lee and Hyeong Gwon Hong and Donggyu Joo and Junmo Kim},
journal= {arXiv preprint arXiv:2004.07507},
year = {2020}
}
备注
CVPR 2020