不平衡情境下的优化推迟
机器学习
2026-05-01 v1 机器学习
摘要
学习算法可以通过将复杂或不确定的输入路由到专用专家来显著提高性能，这在自然语言生成、医疗诊断和计算机视觉等领域至关重要，有效的推迟可以在低额外资源消耗下减少错误。然而，利用诸如LLM或其他分类器等现有预测器的两阶段学习到推迟设置常面临专家不平衡问题。这种不平衡可能导致次优性能，推迟算法倾向于偏好多数专家。我们对两阶段学习到推迟在专家不平衡情境下的问题进行了全面研究。我们将推迟损失优化表示为输入-专家域上的一种新型成本敏感学习问题。我们推导了针对该情境的新的边际基于损失函数和保证，并开发了新的成本敏感学习算法。利用这些结果，我们设计了原则性的推迟算法MILD(Margin-based Imbalanced Learning to Defer)，专为专家不平衡情境而设计。大量实验表明，我们的方法在图像分类和真实世界的大型语言模型(LLM)路由任务上均显著优于现有基线。
引用
@article{arxiv.2604.27723,
title = {Optimized Deferral for Imbalanced Settings},
author = {Corinna Cortes and Anqi Mao and Mehryar Mohri and Yutao Zhong},
journal= {arXiv preprint arXiv:2604.27723},
year = {2026}
}