慢而稳定赢得比赛：通过 Hare 与 Tortoise 网络保持可塑性
机器学习
2025-02-05 v2 人工智能
摘要
本研究探讨了神经网络在迁移学习中泛化能力的丧失，回顾了 Ash & Adams 的热启动实验。我们的经验分析表明，旨在增强可塑性通过保持可训练性的常用方法对泛化能力的帮助有限。虽然重新初始化网络可能是有效的，但也会风险丢失宝贵的先前知识。为此，我们引入了受大脑互补学习系统启发的 Hare & Tortoise。Hare & Tortoise 包含两个组件：Hare 网络快速适应新信息，类似于海马体；Tortoise 网络逐渐整合知识，类似于皮层。通过定期将 Hare 网络重新初始化为 Tortoise 的权重，我们的方法在保持可塑性的同时保留了通用知识。Hare & Tortoise 能够有效保持网络的泛化能力，在 Atari-100k 基准测试中改进了先进的强化学习算法。代码可在 https://github.com/dojeon-ai/hare-tortoise 查看。
引用
@article{arxiv.2406.02596,
title = {Slow and Steady Wins the Race: Maintaining Plasticity with Hare and Tortoise Networks},
author = {Hojoon Lee and Hyeonseo Cho and Hyunseung Kim and Donghu Kim and Dugki Min and Jaegul Choo and Clare Lyle},
journal= {arXiv preprint arXiv:2406.02596},
year = {2025}
}
备注
accepted to ICML 2024