利用通用值函数学习领域支撑的库存管理策略
机器学习
2023-11-07 v1 人工智能
最优化与控制
摘要
我们考虑库存管理问题，其目标是在商店中大量产品的可用性与损耗等相互冲突的目标之间进行平衡。我们提出了一种强化学习（RL）方法，利用通用值函数（GVFs）来推导领域支撑的库存补货策略。库存补货决策被建模为一个序贯决策问题，由于需求的不确定性和聚合（跨产品）约束的存在，该问题具有挑战性。在现有文献中，GVFs主要被用于辅助任务学习。我们利用这一能力在领域关键特征（如缺货概率和损耗量的预测）上训练GVFs。利用该领域专业知识进行更有效的探索，我们训练了一个RL智能体来计算大量产品（在报告的实验中多达6000种）的库存补货数量，这些产品共享诸如每次配送的总重量/体积等聚合约束。此外，我们展示了GVF预测可用于为RL智能体提出的决策提供额外的领域支撑洞察。最后，由于环境动态被完全迁移，训练好的GVFs可用于更快地适应截然不同的业务目标（例如，由于促销期的开始或部署到新客户环境中）。
引用
@article{arxiv.2311.02125,
title = {Using General Value Functions to Learn Domain-Backed Inventory Management Policies},
author = {Durgesh Kalwar and Omkar Shelke and Harshad Khadilkar},
journal= {arXiv preprint arXiv:2311.02125},
year = {2023}
}