具有可证明保证的在线标签偏移自适应

标准监督学习范式在训练数据与即将到来的测试样本共享相同分布时有效。然而，这一平稳假设在现实应用中常被违背，尤其当测试数据以在线方式出现时。在本文中，我们形式化并研究了\emph{在线标签偏移}（OLaS）问题：学习器从带标签的离线数据训练初始模型，随后将其部署到无标签的在线环境中，其中底层标签分布随时间变化但标签条件密度不变。非平稳性质与缺乏监督使得该问题难以应对。为化解此困难，我们构造了一个利用无标签数据的新的无偏风险估计器，其虽可能存在非凸性但展现出诸多良好性质。在此基础上，我们提出新颖的在线集成算法来处理环境的非平稳性。我们的方法享有最优\emph{动态遗憾}，表明其性能可与事后知晓在线环境并为每轮选择最佳决策的先知相竞争。所获得的动态遗憾界随标签分布偏移的强度与模式缩放，从而展现出对 OLaS 问题的自适应性。我们进行了大量实验以验证有效性并支持我们的理论发现。