来自果蝇的持续性学习算法启示
机器学习
2021-12-23 v2 神经元与认知
摘要
计算系统中的持续性学习因灾难性遗忘而具有挑战性。我们在果蝇嗅觉系统中发现了一个两层神经回路，通过独特地结合稀疏编码与联想学习来应对这一挑战。在第一层，气味使用稀疏的高维表示进行编码，通过对不同气味激活不重叠的神经元群体来减少记忆干扰。在第二层，学习过程中仅修改气味激活神经元与对应气味的输出神经元之间的突触；其余权重被冻结以防止无关记忆被覆盖。我们从经验和解析上表明，这一简单轻量的算法显著提升了持续性学习性能。果蝇联想学习算法与经典感知机学习算法惊人地相似，但有两处修改，我们证明这两处对减少灾难性遗忘至关重要。总体而言，果蝇演化出了一种高效的终身学习的算法，且来自神经科学的回路机制可转化用于改进机器计算。
引用
@article{arxiv.2107.07617,
title = {Algorithmic insights on continual learning from fruit flies},
author = {Yang Shen and Sanjoy Dasgupta and Saket Navlakha},
journal= {arXiv preprint arXiv:2107.07617},
year = {2021}
}