Evidential Transformation Network: 将预训练模型转化为具备后验不确定性估计的证据模型
机器学习
2026-04-13 v1 人工智能
摘要
预训练模型已成为视觉和语言领域的标准配置，但通常不提供可靠的置信度度量。深度集成和MC dropout等现有不确定性估计方法往往在实际部署中计算开销过大。证据深度学习(EDL)提供了更高效的替代方案，但需要模型从一开始就输出证据量，而这在预训练网络中几乎不可能。为实现预训练模型的EDL风格不确定性估计，本文提出Evidential Transformation Network(ETN)，一个轻量级后置模块，可将预训练预测器转化为证据模型。ETN在logit空间中工作：它学习样本依赖的仿射变换，并将变换后的输出解释为Dirichlet分布的参数，用于不确定性估计。我们在图像分类和大语言模型问答基准测试上评估了ETN，分别在分布内和分布外设置下进行测试。ETN在不确定性估计方面持续优于后置基线，同时保持准确率，仅增加最小计算开销。
引用
@article{arxiv.2604.08627,
title = {Evidential Transformation Network: Turning Pretrained Models into Evidential Models for Post-hoc Uncertainty Estimation},
author = {Yongchan Chun and Chanhee Park and Jeongho Yoon and Jaehyung Seo and Heuiseok Lim},
journal= {arXiv preprint arXiv:2604.08627},
year = {2026}
}
备注
Accepted to CVPR 2026 (Highlight)