深度强化学习中适应性昼夜节律的出现
人工智能
2023-07-25 v1 机器学习
神经元与认知
摘要
适应环境规律对生物有机体预测事件和进行规划至关重要。一个突出的例子是昼夜节律，它对应于有机体对地球自转 小时周期的內在化。在本工作中，我们研究深度强化学习智能体中类昼夜节律的出现。具体而言，我们将智能体部署在一个具有可靠周期变化的环境中以解决觅食任务。我们系统地刻画了学习过程中智能体的行为，并证明了一种内源性且可被导引的节律的出现。有趣的是，内部节律可在无任何重新训练的情况下适应环境信号相位的偏移。此外，我们通过分岔和相位响应曲线分析展示了人工神经元如何发展出动力学以支持环境节律的内在化。从动力系统的视角，我们证明了这种适应是通过神经元动力学中稳定周期轨道的出现而进行的，其相位响应允许智能体动力学与环境节律之间实现最优相位同步。
引用
@article{arxiv.2307.12143,
title = {Emergence of Adaptive Circadian Rhythms in Deep Reinforcement Learning},
author = {Aqeel Labash and Florian Fletzer and Daniel Majoral and Raul Vicente},
journal= {arXiv preprint arXiv:2307.12143},
year = {2023}
}
备注
ICML 2023