容器堆放规划问题深度强化学习算法基准研究
人工智能
2025-10-06 v1
摘要
容器堆放规划（CSPP）是海事运输和码头运营的关键组成部分，直接影响供应链效率。由于其复杂性，CSPP 传统上依赖人类专家经验。尽管近期已将强化学习（RL）应用于 CSPP，但不同算法间的系统性基准比较仍有限。为填补这一空白，我们开发了一个捕获 CSPP 基本特征的 Gym 环境，并将其扩展以包括单主体和多主体情形下的起重机调度。在该框架内，我们在不同复杂度情景下评估了五种 RL 算法：DQN、QR-DQN、A2C、PPO 和 TRPO。结果揭示了随复杂度提升的不同性能差距，凸显了算法选择和问题表述对 CSPP 的重要性。总体而言，本文为 CSPP 基准测试了多个 RL 方法，同时提供了一个包含起重机调度的可复用 Gym 环境，为未来研究和海事物流中的实际部署奠定了基础。
引用
@article{arxiv.2510.02589,
title = {A Benchmark Study of Deep Reinforcement Learning Algorithms for the Container Stowage Planning Problem},
author = {Yunqi Huang and Nishith Chennakeshava and Alexis Carras and Vladislav Neverov and Wei Liu and Aske Plaat and Yingjie Fan},
journal= {arXiv preprint arXiv:2510.02589},
year = {2025}
}