深度学习射电星系分类方法中不确定性的量化
宇宙学与河外天体物理
2022-02-09 v2 星系天体物理
机器学习
摘要
在这项工作中,我们使用变分推断来量化深度学习模型在射电星系分类预测中的不确定性程度。我们表明,单个测试样本上的模型后验方差水平与人类标注射电星系时的不确定性相关。我们探究了不同权重先验下的模型性能与不确定性校准,并指出稀疏先验能产生校准更好的不确定性估计。利用各权重的后验分布,我们证明可通过移除信噪比最低的权重来剪枝全连接层 30% 的权重而不显著损失性能。使用基于 Fisher 信息的排序可实现更高程度的剪枝,但这两种剪枝方法对 I 型和 II 型 Fanaroff-Riley 射电星系的不确定性校准影响不同。如同该领域的其他工作,我们遇到了冷后验效应(cold posterior effect),即必须降低后验权重才能获得良好的预测性能。我们检验了调整代价函数以适应模型误设能否补偿该效应,发现并无显著差异。我们还检验了原则性数据增强的效果,发现其优于基线但仍不能补偿所观察到的效应。我们将此解释为冷后验效应源于训练样本筛选过于有效导致的似然误设,并提请关注这未来可能成为贝叶斯深度学习射电星系分类方法的一个潜在问题。
引用
@article{arxiv.2201.01203,
title = {Quantifying Uncertainty in Deep Learning Approaches to Radio Galaxy Classification},
author = {Devina Mohan and Anna M. M. Scaife and Fiona Porter and Mike Walmsley and Micah Bowles},
journal= {arXiv preprint arXiv:2201.01203},
year = {2022}
}
备注
accepted by MNRAS