掌握多专家路由：可实现的 H-一致性与学习推迟的强保证

学习推迟的多个专家问题涉及 optimally 分配输入实例到专家，平衡其准确率与计算成本之间的权衡。这一问题不仅在自然语言生成中至关重要，也在图像处理、医疗诊断等领域具有重要意义。近期研究提出了用于优化推迟的代理损失函数，但在确保其一致性属性方面仍面临挑战。本文引入了新的代理损失函数及高效算法，具备强大的理论学习保证。我们解决了关于可实现 H-一致性、H-一致性界限以及贝叶斯一致性的开放问题，这些问题分别适用于单阶段（联合学习预测器和推迟函数）和双阶段（仅学习推迟函数，专家固定）学习场景。对于单阶段推迟，本文引入了一族新的可实现 H-一致代理损失函数，并证明了其中选取成员的 H-一致性。对于双阶段推迟，本文推导了新的代理损失函数，实现了双专家场景下的可实现 H-一致性、H-一致性界限以及贝叶斯一致性，并在自然假设下推广到多专家场景此。此外，在低噪声假设下，我们为两种场景提供了增强的理论保证。最后，我们报告了使用所提出代理损失函数进行实验结果，将其性能与现有基线方法进行比较。