用于准确且校准模型的集合学习

模型过度自信与校准不良在机器学习中十分常见，且在使用标准经验风险最小化时难以解释。本文提出一种缓解这些问题的新方法，称为 odd-$k$-out 学习（OKO），其最小化集合而非单个样本的的交叉熵误差。这天然使模型能够捕捉跨数据样本的关联，并在有限训练数据与类别不平衡情形下同时实现更好的准确率与校准。或许令人惊讶的是，OKO 即使在使用硬标签训练并舍弃任何额外校准参数调优（如温度缩放）时，也常带来更好的校准。我们在大量实验分析中证明了这一点，并提供了数学理论以解释我们的发现。我们强调 OKO 是一个通用框架，可轻松适配多种设置，且训练后的模型在推理时可应用于单个样本，无需显著的运行时开销或架构改动。