利用强化学习稳定黏性拉伸流

四辊碾磨机中四个相同圆柱以相同大小但交替符号的角速度旋转，由 GI Taylor 最初提出，用以产生局部拉伸流并研究其变形小液滴的能力。由于拉伸流具有不稳定特征方向，位于流动滞止点的液滴倾向于逃逸。然而，这种不稳定动力学可通过例如调节圆柱转速来稳定。此处我们使用强化学习（Reinforcement Learning，机器学习的一个分支，致力于基于累积奖励的最优动作选择），为四辊碾磨机流动设计稳定算法。该流动建模为四个二维点涡旋的线性叠加，液滴视为小于问题中所有其他长度尺度的刚性球形粒子。与先前设计控制的尝试不同，我们采用概率方法：速度调整从概率密度函数中抽取，其形状通过一种称为 Actor-Critic 方法的梯度上升形式随时间改进。经足够训练，我们的算法能够精确控制液滴并使其按需尽可能久地保持在滞止点附近。我们探究了物理与学习参数对控制有效性的影响，并展示了算法对热噪声的鲁棒性。我们最终表明，强化学习可提供对所有初始位置均有效的控制算法，并可调整以限制液滴位置附近流动拉伸的幅度。