基于集成去偏方法的不确定性校准
机器学习
2021-11-09 v1 机器学习
摘要
基于集成的去偏方法通过利用仅偏置模型的输出调整学习目标，已被证明能有效缓解分类器对特定数据集偏置的依赖。本文中，我们关注这些基于集成方法中的仅偏置模型，其扮演重要角色但在现有文献中未受充分重视。理论上，我们证明去偏性能会因仅偏置模型不准确的不确定性估计而受损。实证上，我们表明现有仅偏置模型在产生准确不确定性估计方面存在不足。受这些发现启发，我们提出对仅偏置模型进行校准，从而实现一个三阶段基于集成的去偏框架，包括偏置建模、模型校准与去偏。在 NLI 和事实验证任务上的实验结果表明，我们提出的三阶段去偏框架在分布外准确率上持续优于传统两阶段框架。
引用
@article{arxiv.2111.04104,
title = {Uncertainty Calibration for Ensemble-Based Debiasing Methods},
author = {Ruibin Xiong and Yimeng Chen and Liang Pang and Xueqi Chen and Yanyan Lan},
journal= {arXiv preprint arXiv:2111.04104},
year = {2021}
}