Panprediction：面向任意下游任务与损失函数的最优预测

监督学习通常被形式化为在固定分布或任务上最小化固定损失函数的训练过程。然而，一种新兴范式正在逐渐取代传统做法，即将模型训练视为从数据中提取足够信息，以便该模型能够在众多下游任务上最小化多种损失函数。我们形式化了这种范式的数学框架，称为 panprediction，并研究了其统计复杂性。具体而言，panprediction 扩展了 omniprediction，位于 multi-group learning 之前后方；其中 omniprediction 关注可泛化至众多下游损失的预测，而 multi-group learning 则关注可泛化至众多下游任务的预测，但两者都不关注同时兼顾两者。具体而言，我们设计了算法来学习确定性和随机化的 panpredictor，分别需要约 $\tilde{O}(1/\varepsilon^3)$ 和 $\tilde{O}(1/\varepsilon^2)$ 个样本。我们的结果表明，在温和假设下，同时最小化无限多损失函数上的无限多个任务的统计难度，等价于仅最小化一个损失函数上的一个任务。借此，我们将确定性 omniprediction 的最佳已知样本复杂度保证提升了 $1/\varepsilon$ 倍，并匹配了 omniprediction 和 multi-group learning 的所有其他已知样本复杂度保证。我们关键技术要点是将 panprediction 几乎无损地归约到一种统计上高效的校准概念，即 step calibration。