用多指数模型实现单指数模型的普适预测

近期关于监督学习的工作[GKR+22]定义了普适预测器（omnipredictors）的概念，即特征上的预测函数$p$，它同时能够针对一组损失函数$\mathcal{L}$与一个比较类$\mathcal{C}$竞争。普适预测要求超越损失最小化范式来逼近贝叶斯最优预测器，并在学习理论界引起了广泛关注。然而，即使对于诸如不可知学习单指数模型（SIMs）这样的基本设置，现有的普适预测器构造也需要不切实际的大样本复杂度和运行时间，并输出复杂、高度不恰当的假设。我们的主要贡献是一种新的、简单的针对SIMs的普适预测器构造。我们给出一个学习器，输出一个普适预测器，该预测器在比较类为有界线性预测器时，对由单调、Lipschitz连接函数诱导的任何匹配损失是$\varepsilon$-竞争的。我们的算法需要约$\varepsilon^{-4}$个样本，运行时间接近线性，如果连接函数是双Lipschitz的，样本复杂度可改进至约$\varepsilon^{-2}$。这显著改进了先前仅有的构造[HJKRR18, GHK+23]，该构造使用了$\gtrsim \varepsilon^{-10}$个样本。我们通过对经典Iotron算法[KS09, KKKS11]在具有挑战性的不可知学习设置中进行新的、尖锐的分析来实现我们的构造，这本身可能具有独立意义。此前，Iotron已知可以在可实现设置中正确学习SIMs，以及在平方损失下得到常数因子竞争假设[ZWDD24]。由于基于Iotron，我们的普适预测器是具有约$\varepsilon^{-2}$个预测头的多指数模型，使我们更接近针对一般损失族和比较器进行恰当普适预测这一诱人目标。