生物启发模块化在通用学习中的作用
机器学习
2021-10-01 v1 人工智能
摘要
通用智能的一个目标是在学习新信息时不覆盖先前的学习。无遗忘学习（CF）的效用有两方面：首先，系统在学完新内容后可回到先前学习的任务；此外，借助已有知识引导可能加快新任务的学习。先前关于 CF 与引导的方法主要基于修改学习过程，即以改变权重的形式调优模型以适应当前任务，从而覆盖先前任务中调优的权重。然而，另一个被严重忽视的关键因素是初始网络拓扑，即架构。在此，我们认为生物大脑的拓扑很可能演化出了某些旨在实现此类信息保持的特征。特别地，我们认为高度保守的模块化特性可能为权重更新学习方法提供一条满足无灾难性遗忘学习与引导约束的路径。最后，我们就如何在一个动态的通用学习系统中结合这两个学习目标进行了考量。
引用
@article{arxiv.2109.15097,
title = {The Role of Bio-Inspired Modularity in General Learning},
author = {Rachel A. StClair and William Edward Hahn and Elan Barenholtz},
journal= {arXiv preprint arXiv:2109.15097},
year = {2021}
}