面向强化学习流体控制的迁移学习策略

本文探讨了利用迁移学习策略加速基于深度强化学习（DRL）的多保真度流体控制。渐进神经网络（Progressive Neural Networks, PNNs）是一种旨在跨任务保存和重用知识的模块化架构，首次被应用于DRL-based flow control的上下文中。此外，本文对传统微调策略进行了全面的基准测试，评估其性能、收敛行为以及保留 transferred knowledge 的能力。以 Kuramoto-Sivashinsky（KS）系统为基准，考察了在低保真度环境中训练的控制策略如何有效地迁移到高保真度设置。系统化的评估表明，尽管微调可加速收敛，但其对 pretraining duration 高度敏感，且容易发生灾难性遗忘。相比之下，PNNs通过保存先前知识并提供持续的性能提升，实现了稳定且高效的迁移，在 pretraining 阶段对过拟合具有显著鲁棒性。层级敏感性分析进一步揭示了PNNs如何动态重用来自 source policy 的中间表示，同时逐层适应 target task。更重要的是，PNNs即使在 source 和 target 环境之间存在显著差异的情况下（例如，物理情境或控制目标不匹配），仍能有效工作，而微调策略往往导致次优适应甚至完全失败的知识迁移。这些结果凸显了新型迁移学习框架在稳健、可扩展且计算高效的流体控制中潜在价值，可潜在应用于更复杂的流体配置。