用于库存管理的神经协调器与容量控制
系统与控制
2024-10-07 v1 机器学习
系统与控制
机器学习
摘要
本文聚焦于带容量限制的周期性审阅库存控制问题，关注于管理多个产品的零售商，这些产品在有限的共享资源（如设施的存储空间或入库劳动力）方面存在限制。具体而言，本文由以下问题驱动：(1) 什么是对容量控制机制进行背调测试的含义？(2) 我们能否设计并对容量控制机制进行背调测试，而该机制又与近期深度强化学习在库存管理方面的进展相兼容？首先，由于我们仅拥有亚马逊容量限制的单一历史样本路径，我们提出了从可能的约束路径分布中进行抽样的方法，以覆盖真实场景的空间。这一新方法允许对库存管理策略进行更稳健、更真实的测试。其次，我们将 Madeka 等人 2022 年提出的 exo-IDP (外生决策过程) 表述扩展至带容量限制的周期性审阅库存控制问题，表明某些容量受限控制问题的难度不大于监督学习。第三，我们引入一个“神经协调器”，用于预测容量价格，指导系统遵守目标约束，取代传统的模型预测控制器。最后，我们采用修改版 DirectBackprop 算法学习深度强化学习采购策略并训练神经协调器。该方法通过大规模背调测试进行评估，结果表明具备神经协调器的强化学习采购策略在累积折现奖励和容量遵从度方面均优于经典基准（在某些情况下实现约 50% 的提升）。
引用
@article{arxiv.2410.02817,
title = {Neural Coordination and Capacity Control for Inventory Management},
author = {Carson Eisenach and Udaya Ghai and Dhruv Madeka and Kari Torkkola and Dean Foster and Sham Kakade},
journal= {arXiv preprint arXiv:2410.02817},
year = {2024}
}