基于直推式先验的无界损失精化风险界

我们重新审视了带平方损失的线性回归、带合页损失的分类问题以及逻辑回归的序列变体，这些问题的共同特征是在不对设计向量的幅度和最优参数向量的范数作任何假设的设定下具有无界损失。与现有结果的关键区别在于，我们假设设计向量集合是预先已知的（尽管其顺序未知），这一设定有时被称为直推式在线学习。虽然这一假设看似类似于固定设计回归或去噪，但我们证明了算法的序列特性使我们能够在不对设计向量的分布作任何额外假设的情况下，将我们的界转化为随机设计下的统计界——这对于标准的去噪结果是不可能的。我们的核心工具基于带有精心挑选的直推式（依赖设计的）先验的指数权重算法，这些先验利用了设计向量的完整视界。我们的分类遗憾界具有文献中仅归因于有界损失的特征：它们仅依赖于参数空间的维度和轮数，而独立于设计向量或最优解的范数。对于带平方损失的线性回归，我们进一步将分析扩展到稀疏情形，提供了额外依赖于响应变量幅度的稀疏遗憾界。我们论证了这些改进的界是直推式设定所特有的，在最坏情况的序列设定下是无法达到的。我们的算法在若干情形下具有多项式时间近似，并归结为对对数凹测度进行采样，而非在难以构造的类的 $\varepsilon$-覆盖上进行聚合。