基于 Q-learning 的钢铁连铸调度层次化合作局部搜索
系统与控制
2025-06-11 v1 系统与控制
摘要
钢铁连铸调度问题（SCCSP）是现代钢铁生产中的一个关键且复杂的挑战，要求在多个生产阶段协调分配和排序钢材批次。高效的调度不仅提升生产效率，也显著减少能源消耗。然而，传统启发式方法（如两阶段局部搜索）和近期的元启发式方法往往难以适应实际SCCSP实例的动态特性。为此，本文引入一种新颖的Q learning 基于层次化合作局部搜索框架，称为HierC_Q，旨在最小化最大完成时间和平均等待时间加权和。HierC_Q的核心贡献有二点：首先，考虑到SCCSP内在的耦合特性，提出了基于新颖耦合度量（CM）的奖励函数，引导探索过程向解空间的有前景区域探索。其次，设计了一种层次化架构，包含两个 distinct 层次：学习提升（L2I）层和“扰动以更新”（D2R）层。L2I层利用两个针对子问题的独立Q-learning 基于局部搜索框架（QLSF）以及针对主问题的协同QLSF进行深入探索。为提高局部搜索效果，还引入了有效性评估方法和加速评估方法，基于对问题结构的深入研究。与此同时，D2R层包含一种基于扰动和构造的解更新策略，以缓解过早收敛的风险。通过与十一个局部搜索框架和九种最先进算法的广泛比较，证明了HierC_Q的优越性和有效性。
关键词
引用
@article{arxiv.2506.08608,
title = {Q-learning-based Hierarchical Cooperative Local Search for Steelmaking-continuous Casting Scheduling Problem},
author = {Yang Lv and Rong Hu and Bin Qian and Jian-Bo Yang},
journal= {arXiv preprint arXiv:2506.08608},
year = {2025}
}