带预算约束的重复首次价格拍卖中的无后悔学习

近来在线广告市场呈现出从第二价格拍卖向首次价格拍卖的逐渐转变。尽管已有一些关于首次价格拍卖中在线出价策略的研究,但如何处理该问题中的预算约束仍属开放问题。在本文中,我们开创性地研究具有预算的买家在重复首次价格拍卖中学习在线出价策略。我们提出一种基于RL的出价算法,以应对平稳竞争下的最优非预期策略。若每轮结束时报价全部揭示,我们的算法获得$\widetilde O(\sqrt T)$后悔界。在买家每轮仅能看到中标报价的限制下,我们通过生存分析发展的技术使改进算法获得$\widetilde O(T^{\frac{7}{12}})$后悔界。我们的分析扩展到更一般的场景,即买家具有任意有界瞬时效用函数且后悔界同阶。