相当不错的控制：何时近似解优于近似模型

现有最优控制方法难以应对真实世界系统中常见的复杂性，包括维数、过程误差、模型偏差与数据异质性。研究者通常不去直接处理这些系统复杂性，而是试图简化模型以适配最优控制方法。但何时对近似的、理想化模型的最优解会优于对更精确模型的近似解？尽管由于即便对复杂模型寻找近似解也十分困难，该问题大体上未获解答，但深度强化学习（DRL）近期的算法与计算进展或许终使我们能够回答这些问题。迄今 DRL 方法主要应用于规则精确已知的博弈或机器人力学语境中。在此，我们展示了使用深度神经网络的 DRL 算法能够在不了解或从未试图推断过程模型本身的情况下，于一个渔业的三变量非线性模型中成功近似解（即“策略函数”或控制规则）。我们发现该强化学习智能体发现了问题的一种有效简化，从而获得可解释的控制规则。我们表明，通过 DRL 获得的策略比任何恒定死亡率策略——渔业管理中考虑的标准策略族——都更具盈利性与可持续性。