具有动态可用性的上下文选择性实现终身持续学习
机器学习
2024-01-26 v2 人工智能
摘要
“你永远不会忘记如何骑自行车”——但这怎么可能？大脑能够学习复杂技能，停止练习数年，期间学习其他技能，并在需要时仍检索出原有知识。这一能力被称为终身学习（或持续学习，CL），其机制尚不清楚。我们提出一种生物可信的元可塑性规则，建立在 CL 的经典工作之上，并将其总结为两条原则：（i）神经元具有上下文选择性；（ii）若神经元与先前任务相关，则局部可用性变量会部分冻结其可塑性。在这些原则的以神经为中心的新形式化中，我们提出神经元选择性与神经元范围巩固是一种简单且可行的元可塑性假设，用以在大脑中实现 CL。在仿真中，该简单模型平衡了遗忘与巩固，在图像识别与自然语言处理的 CL 基准上取得了优于当代 CL 算法的迁移学习效果。
引用
@article{arxiv.2306.01690,
title = {Context selectivity with dynamic availability enables lifelong continual learning},
author = {Martin Barry and Wulfram Gerstner and Guillaume Bellec},
journal= {arXiv preprint arXiv:2306.01690},
year = {2024}
}