具有多专家延迟的回归

具有多专家的学习延迟是一个框架，其中学习器可以选择将预测延迟给多个专家。虽然该问题在分类背景下已受到广泛关注，但由于标签空间的无限和连续性质，它在回归中带来了独特的挑战。在本工作中，我们引入了一个新颖的回归延迟框架，涉及将预测延迟给多个专家。我们对单阶段场景和两阶段场景进行了全面分析，前者同时学习预测器和延迟函数，后者涉及预训练的预测器和学习到的延迟函数。我们为两种场景引入了新的替代损失函数，并证明它们有 $H$-一致性界作为支撑。这些界提供了一致性保证，比 Bayes 一致性更强，因为它们是非渐近的且特定于假设集。我们的框架通用性强，适用于多个专家，可容纳任何有界回归损失，同时处理依赖于实例和依赖于标签的成本，并支持单阶段和两阶段方法。一个副产品是，我们的单阶段公式将最近的回归弃权框架（Cheng et al., 2023）作为特例包含在内，该特例仅考虑单个专家、平方损失和独立于标签的成本。最小化我们提出的损失函数直接导出了新的回归延迟算法。我们报告了大量实验的结果，展示了所提算法的有效性。