关于连续学习中 Fisher 信息的计算
机器学习
2025-02-18 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
深度神经网络持续学习最流行的方法之一是弹性权重整合（Elastic Weight Consolidation, EWC），其涉及计算 Fisher 信息。然而，Fisher 信息的精确计算方式却很少被描述，且在线上可以找到多种不同的实现。本博客文章讨论并经验比较了常用的几种实现方法，这表明许多当前报告的EWC结果通过改变Fisher 信息的计算方式可能会得到改进。
引用
@article{arxiv.2502.11756,
title = {On the Computation of the Fisher Information in Continual Learning},
author = {Gido M. van de Ven},
journal= {arXiv preprint arXiv:2502.11756},
year = {2025}
}
备注
To appear in the blogpost track at ICLR 2025