重访证据深度学习的必需与非必需设置
机器学习
2024-10-02 v1 人工智能
摘要
证据深度学习 (EDL) 是一种新兴的不确定性估计方法，能够在单次前向传播中提供可靠的预测不确定性，受到广泛关注。基于主观逻辑，EDL 从神经网络中推导出 Dirichlet 分布的浓度参数，以构建 Dirichlet 概率密度函数 (PDF)，来建模类别概率的分布。尽管 EDL 取得了成功，但它包含若干非必需的设置：在模型构建中，(1) 常被忽视的先验权重参数被固定为类别数目，而其值实际上影响预测得分中证据比例与其大小之间的平衡。在模型优化中，(2) 经验风险具有方差最小化优化项，这会偏向 PDF 向 Dirac 派系函数发展，可能加剧过度自信。(3) 此外，结构风险通常包括 KL 散度最小化的正则化，其优化方向超出预期目的，与常识相矛盾，削弱了证据大小所携带的信息。因此，我们提出 Re-EDL，即一种简化且更有效的 EDL 变体，通过放宽非必需的设置而保留必需的设置，即采用主观逻辑中的投影概率。具体而言，Re-EDL 将先验权重视为可调整的超参数而非固定标量，直接优化 Dirichlet PDF 的期望值，通过取消方差最小化优化项和散度正则化项来实现。广泛的实验和最新性能验证了我们方法的有效性。源代码可在 https://github.com/MengyuanChen21/Re-EDL 查阅。
引用
@article{arxiv.2410.00393,
title = {Revisiting Essential and Nonessential Settings of Evidential Deep Learning},
author = {Mengyuan Chen and Junyu Gao and Changsheng Xu},
journal= {arXiv preprint arXiv:2410.00393},
year = {2024}
}
备注
22 pages, under review