迈向自组织控制：利用神经细胞自动机鲁棒地控制小车-杆系统智能体
神经与进化计算
2021-07-13 v2
摘要
神经细胞自动机（Neural CA）是近期用于建模多细胞生物涌现现象的一个框架。在这些系统中，人工神经网络被用作细胞自动机的更新规则。Neural CA 是端到端可微系统，其中神经网络的参数可被学习以完成特定任务。在本工作中，我们使用 Neural CA 来控制一个小车-杆系统（cart-pole）智能体。对环境的观测被传入输入单元，而输出单元的值被用作系统的读出。我们使用深度 Q 学习训练模型，其中输出单元的状态被用作待优化的 Q 值估计。我们发现，细胞自动机的计算能力在数十万次迭代中得以保持，并在其控制的环境中于数千步内产生涌现的稳定行为。此外，该系统展现出类生命现象，如发育阶段、受损后再生、在噪声环境下的稳定性，以及对未见扰动（如输入删除）的鲁棒性。
引用
@article{arxiv.2106.15240,
title = {Towards self-organized control: Using neural cellular automata to robustly control a cart-pole agent},
author = {Alexandre Variengien and Stefano Nichele and Tom Glover and Sidney Pontes-Filho},
journal= {arXiv preprint arXiv:2106.15240},
year = {2021}
}