VOLTA：辅助损失对校准深层学习模型的意外无效性
机器学习
2026-04-13 v1 人工智能
计算机视觉与模式识别
摘要
不确定性量化 (UQ) 是在安全关键应用中部署深度学习模型的必需品，但目前尚无共识表明哪种 UQ 方法在不同数据模态和分布迁移下表现最佳。本文对十种广泛使用的 UQ baseline 进行全面基准测试，包括 MC Dropout、SWAG、集成方法、温度缩放、能量基 OOD、Mahalanobis、双曲线分类器、ENN、Taylor Sensus 和 split conformal prediction，以及一种简化且高效的 VOLTA 变体，其仅保留深层编码器、可学习原型、交叉熵损失和事后温度缩放。我们在 CIFAR 10 (in distribution)、CIFAR 100、SVHN、uniform noise (out of distribution)、CIFAR 10 C (corruptions) 和 Tiny ImageNet 特征 (tabular) 上评估所有方法。VOLTA 在 CIFAR 10 上实现了具竞争力或更优的准确率 (最高达 0.864)，显著低于预期校准误差 (0.010 对 baseline 0.044至 0.102)，且在 OOD 检测方面表现强劲 (AUROC 0.802)。三次随机种子上的统计检验表明，VOLTA 与或多数 baseline 相当或更好，消融研究确认自适应温度和深层编码器的重要性。我们的结果将 VOLTA 确立为一种轻量、确定且校准良好的 UQ 方法替代方案，无需复杂方法。
关键词
引用
@article{arxiv.2604.08639,
title = {VOLTA: The Surprising Ineffectiveness of Auxiliary Losses for Calibrated Deep Learning},
author = {Rahul D Ray and Utkarsh Srivastava},
journal= {arXiv preprint arXiv:2604.08639},
year = {2026}
}