基于竞标的车辆共享的两阶段$Q$学习

我们考虑单向车辆共享系统，其中客户可以在一个站点租车并在另一个站点还车。我们要解决的问题是通过合理定价租赁来优化车辆分布和服务质量。我们提出了一种受拍卖启发并考虑问题数据（例如取车和还车地点、请求时间和行程时长）中固有显著不确定性的竞标方法。具体地，与当前车辆共享系统相反，运营商不设定价格。而是客户提交出价，运营商决定是否出租。运营商甚至可以接受负出价以激励驾驶员将可用车辆重新平衡到城市内不受欢迎的目的地。我们将运营商的序贯决策问题建模为一个\emph{约束马尔可夫决策问题}(CMDP)，并提出且严格分析了一种新颖的两阶段$Q$学习算法来求解。给出了数值实验并进行了讨论。