收益最大化学习曲线之研究

学习曲线是监督学习中的基本原语，描述算法随数据增多而性能提升的过程，为其泛化能力提供量化衡量。形式地，学习曲线绘制了算法对固定底层分布的误差随训练样本数衰减的曲线。收益最大化学习算法的现有工作，始于 Cole 和 Roughgarden 的工作 [STOC, 2014]，采用分布无关的视角，这类似于学习理论中的 PAC 学习框架。该方法针对最难的 valuation 分布序列（每个样本大小对应一个分布），即定义了所有可能分布上学习曲线的上包络，从而导致不捕捉学习曲线形状的误差界。在本工作中，我们开创性地研究收益最大化的学习曲线，并对其衰减率在单件单买家的基本设置下提供了近乎完整的表征。若不对 valuation 分布施加任何限制，我们证明存在一个 Bayes 一致的算法，即其学习曲线对任意 valuation 分布随样本数 $n \to \infty$ 收敛于零。然而，这种收敛可能任意缓慢，即使最优收益为有限值。相比之下，若最优收益由有限价格实现，则最优衰减率大约为 $1/\sqrt{n}$。最后，对于支持在离散值集合上的分布，我们证明学习曲线几乎呈指数衰减，这种速率在 PAC 框架下无法实现。