迭代多智能体强化学习：面向现实世界多层库存优化的新方法
机器学习
2025-03-25 v1
摘要
多层库存优化（MEIO）对于有效的供应链管理至关重要，但其固有的复杂性可能构成重大挑战。通常会使用启发式方法来解决这种复杂性，但它们往往在范围和可扩展性方面存在局限。最近的研究发现，深度强化学习（DRL）是传统启发式方法的有前景的替代方案，能够通过利用动态决策能力提供更大的灵活性。然而，鉴于DRL已知在维度灾难方面存在挑战，其与复杂现实生活供应链情景的相关性仍需进一步确定。本论文考察DRL适用于复杂度逐渐增加的MEIO问题的可行性。复制、增强并在13个供应链情景中进行测试的前沿DRL模型，结合了多样化的网络结构和参数。为了解决DRL在维度方面的挑战，开发了额外的模型，利用图神经网络（GNN）和多智能体强化学习（MARL），最终形成了 novel 的迭代多智能体强化学习（IMARL）方法。IMARL在优化库存政策方面表现出卓越的可扩展性、有效性和可靠性，持续优于基准方法。这一发现确认了DRL，特别是IMARL，针对现实世界供应链挑战的潜力，并呼吁进一步的研究以进一步扩大其适用性。
引用
@article{arxiv.2503.18201,
title = {Iterative Multi-Agent Reinforcement Learning: A Novel Approach Toward Real-World Multi-Echelon Inventory Optimization},
author = {Georg Ziegner and Michael Choi and Hung Mac Chan Le and Sahil Sakhuja and Arash Sarmadi},
journal= {arXiv preprint arXiv:2503.18201},
year = {2025}
}
备注
A Capstone Report in the Field of Data Science for the Degree of Master of Liberal Arts in Extension Studies - Harvard University