技能迁移中用于资源节约与快速学习的高层特征
机器人学
2022-09-28 v1 机器学习
摘要
抽象是智能的重要方面，它使智能体能够构建鲁棒表征以进行有效决策。在过去十年中，深度网络因其形成日益复杂抽象的能力而被证明是有效的。然而，这些抽象分布在许多神经元上，使得复用已学技能的成本很高。先前的工作要么强制形成抽象而引入设计者偏差，要么使用大量神经单元而未研究如何获得能更有效捕捉源任务的高层特征。为避免设计者偏差和资源滥用，我们提出利用神经响应动态来形成紧凑表征以用于技能迁移。为此，我们考虑两种竞争方法，分别基于（1）最大信息压缩原理和（2）抽象事件往往产生缓慢变化信号的概念，并将其应用于任务执行期间生成的神经信号。具体而言，在我们的仿真实验中，我们对深度网络执行源任务时从最后隐藏层收集的信号施加主成分分析（PCA）或慢特征分析（SFA），并将这些特征用于新目标任务中的技能迁移。我们将这些替代方案与全层输出技能迁移和无迁移设置的基线比较其泛化性能。我们的结果表明，SFA单元在技能迁移中最成功。SFA与PCA相比通常的技能迁移占用更少资源，其中形成的许多单元表现出局部化响应，反映了末端执行器-障碍物-目标关系。最后，具有最低特征值的SFA单元类似于符号表征，其与关节角度等高层特征高度相关，可被视为完全符号系统的前驱。
引用
@article{arxiv.2106.10354,
title = {High-level Features for Resource Economy and Fast Learning in Skill Transfer},
author = {Alper Ahmetoglu and Emre Ugur and Minoru Asada and Erhan Oztop},
journal= {arXiv preprint arXiv:2106.10354},
year = {2022}
}