基于不确定性的调制用于终身学习
机器学习
2020-01-28 v1 机器学习
摘要
为部署于动态环境真实系统的算法创建能够进行持续终身学习的智能体机器学习算法，是一项关键目标。本文提出一种受人类大脑神经调制机制启发的算法，其整合并扩展了 Stephen Grossberg 开创性的自适应共振理论（Adaptive Resonance Theory）提议。具体而言，它基于不确定性概念，并采用一系列神经调制机制以实现持续学习，包括自监督学习与一次性学习。算法组件在一系列基准实验中得到评估，展示了无灾难性遗忘的稳定学习。我们还证明了以闭环方式开发这些系统的关键作用，其中环境与智能体行为约束并引导学习过程。为此，我们将算法集成到一个具身模拟无人机智能体中。实验表明，该算法能够在虚拟环境中以高分类准确率（大于 94%）持续学习新任务及变化条件下的任务，且无灾难性遗忘。该算法可接受来自任意最先进检测与特征提取算法的高维输入，使其成为现有系统的灵活补充。我们还描述了未来的开发工作，重点是为算法注入寻求新知识的机制以及采用更广泛的神经调制过程。
引用
@article{arxiv.2001.09822,
title = {Uncertainty-based Modulation for Lifelong Learning},
author = {Andrew Brna and Ryan Brown and Patrick Connolly and Stephen Simons and Renee Shimizu and Mario Aguilar-Simon},
journal= {arXiv preprint arXiv:2001.09822},
year = {2020}
}