面向旅行商问题的强化 Lin-Kernighan-Helsgaun 算法

TSP 是一类经典的 NP 难组合优化问题，具有许多实际变体。LKH 是求解 TSP 的顶尖局部搜索算法之一。LKH-3 是 LKH 的一个强大扩展，能够求解多种 TSP 变体。LKH 与 LKH-3 均为每个城市关联一个候选集以提升效率，并采用两种不同的方法（$\alpha$-测度与 POPMUSIC）来决定候选集。在本工作中，我们首先提出一种变策略强化 LKH（VSR-LKH）算法，将三种强化学习方法（Q-learning、Sarsa、Monte Carlo）与 LKH 结合，用于 TSP。我们进一步提出一种新算法 VSR-LKH-3，将变策略强化学习方法与 LKH-3 结合，用于典型 TSP 变体，包括带时间窗的 TSP（TSPTW）与着色 TSP（CTSP）。所提算法取代了 LKH 与 LKH-3 中僵化的遍历操作，使算法通过强化学习在每一步搜索中学会做出选择。无论采用 $\alpha$-测度还是 POPMUSIC，LKH 与 LKH-3 均能被我们的方法显著改进。在多达 85,900 个城市的 236 个广泛使用的 TSP 基准上的大量实验证明了 VSR-LKH 的优异性能。VSR-LKH-3 也显著优于 TSPTW 与 CTSP 的现有最优启发式算法。