通过多样性正则化提升集成模型的鲁棒性与校准性能
机器学习
2022-10-21 v1 人工智能
摘要
校准与不确定性估计在高风险环境中是关键课题。我们针对分类任务引入一种新的多样性正则化器，其利用分布外样本，提升集成模型的总体准确率、校准性能与分布外检测能力。继近期对集成多样性的关注，我们系统评估了显式正则化集成多样性以改善分布内数据及数据集偏移下校准的可行性与分布外检测能力。我们证明多样性正则化在个体成员间部分共享权重的架构中极为有益，甚至允许使用更少的集成成员达到相同鲁棒性水平。在 CIFAR-10、CIFAR-100 与 SVHN 上的实验表明，正则化多样性可对校准、鲁棒性及分布外检测产生显著影响。
引用
@article{arxiv.2201.10908,
title = {Improving robustness and calibration in ensembles with diversity regularization},
author = {Hendrik Alexander Mehrtens and Camila González and Anirban Mukhopadhyay},
journal= {arXiv preprint arXiv:2201.10908},
year = {2022}
}