作为 Transformer 的感官神经元：用于强化学习的置换不变神经网络
神经与进化计算
2021-09-30 v2
摘要
在复杂系统中，我们常观察到复杂的全局行为从一群在环境中相互交互的个体智能体中涌现，其中每个个体智能体仅基于局部可得信息行动，而不知全貌。此类系统已启发了群体优化和元胞自动机等领域的 AI 算法发展。受复杂元胞系统集体行为涌现的启发，我们构建了这样的系统：将环境中每个感官输入送入不同的但完全相同的神经网络，彼此间无固定关联。我们表明这些感官网络可被训练以整合局部接收的信息，并通过注意力机制通信，集体产生全局一致的策略。此外，即使在一段回合中其输入顺序被随机置换数次，系统仍能执行任务。这些置换不变系统还展现出广泛适用的有用鲁棒性与泛化特性。交互式演示与结果视频：https://attentionneuron.github.io/
引用
@article{arxiv.2109.02869,
title = {The Sensory Neuron as a Transformer: Permutation-Invariant Neural Networks for Reinforcement Learning},
author = {Yujin Tang and David Ha},
journal= {arXiv preprint arXiv:2109.02869},
year = {2021}
}
备注
To appear at the 35th Conference on Neural Information Processing Systems (NeurIPS 2021). Selected for a spotlight presentation