强化学习揭示主动粒子混合的基本极限
机器学习
2021-12-23 v1 系统与控制
系统与控制
适应与自组织系统
摘要
对远离平衡的物理系统（包括主动物质）的控制已成为应用强化学习（RL）策略推导物理系统控制策略的重要领域。在主动物质中，粒子的非线性动力学与长程相互作用使得系统动力学无法用闭式描述，并阻碍最优控制问题的显式求解。由于求解显式控制策略的根本挑战，RL 已成为推导远离平衡主动物质系统控制策略的一种方法。然而，一个重要的开放问题是主动物质系统的数学结构与物理性质如何决定 RL 学习控制策略的可处理性。在本工作中，我们表明 RL 只能为结合吸引与排斥粒子相互作用的系统找到针对典型主动物质混合任务的好策略。利用动力系统理论的数学结果，我们将两类相互作用的可用性对应于双曲动力学的存在以及 RL 找到均匀混合策略的能力。特别地，我们表明对于阻力主导的平移不变粒子系统，双曲动力学因而混合需要结合吸引与排斥相互作用。广义上，我们的工作展示了动力系统的基本物理与数学性质如何促成或约束基于强化学习的控制。
引用
@article{arxiv.2105.14105,
title = {Reinforcement Learning reveals fundamental limits on the mixing of active particles},
author = {Dominik Schildknecht and Anastasia N. Popova and Jack Stellwagen and Matt Thomson},
journal= {arXiv preprint arXiv:2105.14105},
year = {2021}
}