湍流环境中自驱动智能体以最小能耗迁移

我们提出了一项关于训练自驱动智能体在非定常流环境中迁移的数值研究。我们通过采用强化学习算法控制智能体利用背景流结构，以最小化能量消耗。我们考虑了智能体在两种类型流动中的迁移：一种是简单的周期性双环流，作为概念验证示例；另一种是复杂的湍流 Rayleigh-Bénard 对流，作为在对流大气或海洋中迁移的范例。结果表明，两种流动中的智能体都能学会从一个位置迁移到另一个位置，同时尽可能利用背景流以最小化能耗，这一点通过将智能体与从起点直线移动到终点的朴素智能体进行比较得以证实。此外，我们发现与双环流相比，湍流 Rayleigh-Bénard 对流中的流场表现出更剧烈的涨落，训练中的智能体更倾向于探索不同的迁移策略，因此训练过程更难收敛。尽管如此，我们仍能识别出一条能量高效的轨迹，该轨迹对应于智能体获得的最高奖励策略。这些结果对许多迁移问题具有重要意义，例如在湍流对流环境中飞行的无人机，其规划往往涉及能量高效的轨迹。