解耦特征提取层与分类层以实现校准的神经网络
机器学习
2024-05-07 v3 机器学习
摘要
深度神经网络（DNN）在许多分类应用中展现出巨大潜力，但众所周知，当其过度参数化时，预测的校准性较差。在不牺牲模型准确率的前提下改善 DNN 的校准性，对于医疗保健等安全关键应用具有极其重要的意义与关注度。在本工作中，我们表明，在 Wide Residual Networks (WRN) 和 Visual Transformers (ViT) 等过度参数化的 DNN 架构中，解耦特征提取层与分类层的训练，能够在保持准确率的同时显著改善模型校准，且训练成本较低。此外，我们表明，在 DNN 最后一个隐藏层的输出上放置高斯先验，并在分类训练阶段进行变分训练，可以进一步提升校准效果。我们展示了这些方法在多个图像分类基准数据集上均能改善 ViT 和 WRN 架构的校准性。
引用
@article{arxiv.2405.01196,
title = {Decoupling Feature Extraction and Classification Layers for Calibrated Neural Networks},
author = {Mikkel Jordahn and Pablo M. Olmos},
journal= {arXiv preprint arXiv:2405.01196},
year = {2024}
}
备注
Proceedings of the 41 st International Conference on Machine Learning (ICML) 2024