HOFLON：面向工艺启动与品级转换的混合离线学习与在线优化

启动和产品品级变更是连续工艺装置操作中的关键步骤，因为任何失误都会立即影响产品质量并导致运营损失。这些转换长期依赖由少数专家操作员手动执行，但随着该 workforce 的逐步退休，企业面临缺乏经验知识以确保一致执行这些步骤的挑战。在缺乏工艺模型的情况下，离线强化学习（RL）有望通过挖掘历史启动和品级变更日志来捕获甚至超越人类专家知识，但标准离线 RL 在学习策略进入数据边界之外时会面临分布迁移和价值过度估计的问题。我们提出 HOFLON（Hybrid Offline Learning + Online Optimization）以克服这些限制。在离线阶段，HOFLON 学习（i）表示过去转换可行区域的潜在数据流形，以及（ii）从状态-动作对预测累积奖励的长期 Q 评估者。在在线阶段，它求解一个一步优化问题，最大化 Q 评估者，同时惩罚偏离所学流形和机械变量变更率。我们在两个工业案例研究中对 HOFLON 进行测试：一个聚合物反应器启动和一台纸机品级变更问题，并将其与领先的离线 RL 算法隐式 Q 学习（IQL）进行基准测试。在两个工厂中，HOFLON 不仅超越了 IQL，而且在平均情况下还能实现超过历史数据中最佳启动或品级变更的更高累积奖励，展示了其超越当前专家能力水平自动化转换操作的潜力。