论弹性权重巩固中的二次惩罚项
机器学习
2022-06-08 v1 机器学习
摘要
弹性权重巩固（EWC, Kirkpatrick 等, 2017）是一种旨在防范神经网络灾难性遗忘的新算法。EWC 可视为拉普拉斯传播（Eskin 等, 2004）的近似，且该视角与 Kirkpatrick 等（2017）给出的动机一致。在本札记中，我给出涵盖多于两个任务情形的扩展推导。我表明 EWC 中的二次惩罚项与该推导不一致，并可能导致对早期任务数据的重复计数。
引用
@article{arxiv.1712.03847,
title = {On Quadratic Penalties in Elastic Weight Consolidation},
author = {Ferenc Huszár},
journal= {arXiv preprint arXiv:1712.03847},
year = {2022}
}