具身智能体通过组织不变性实现对临界性的适应
适应与自组织系统
2018-06-04 v3 无序系统与神经网络
统计力学
神经与进化计算
神经元与认知
摘要
许多生物与认知系统并非深陷于某种活动态的某一 regime 之中，而是 poised 于其参数空间相变处的临界点。临界性的普遍性表明可能存在诱导此行为的通用原理，然而目前尚无坚实基础的理论来理解临界性如何在广泛层次与情境下产生。为探索临界性如何由通用适应机制涌现，我们提出一种简单学习规则，该规则维持来自临界性特定系统族的内部组织结构。我们将该机制实现于由神经网络控制的人工具身智能体中，该网络维持从临界温度 Ising 模型随机采样的相关结构。智能体在两个经典强化学习场景中被评估：Mountain Car 与 Acrobot 双摆。两种情况下神经控制器似乎都到达了临界性的一点，且该点与智能体行为两种 regime 之间的转变点重合。这些结果表明，在某些情况下适应临界性可用作通用适应机制，为生物与认知系统中临界性的普遍存在提供另一种解释。
引用
@article{arxiv.1712.05284,
title = {Adaptation to criticality through organizational invariance in embodied agents},
author = {Miguel Aguilera and Manuel G. Bedia},
journal= {arXiv preprint arXiv:1712.05284},
year = {2018}
}
备注
arXiv admin note: substantial text overlap with arXiv:1704.05255