射电星系分类中的权重剪枝与不确定性
天体物理仪器与方法
2021-11-30 v2 星系天体物理
机器学习
摘要
在这项工作中，我们使用变分推断来量化射电星系分类模型预测中的认知不确定性程度，并表明单个测试样本上的模型后验方差水平与人工标注射电星系时的不确定性相关。我们探索了不同权重先验下的模型性能与不确定性校准，并提出稀疏先验能产生校准更好的不确定性估计。利用单个权重的后验分布，我们表明信噪比（SNR）排序允许将全连接层剪枝至 30% 而不显著损失性能，且这种剪枝增加了模型的预测不确定性。最后我们表明，如同该领域的其他工作，我们经历了冷后验效应。我们检验了调整模型中的代价函数以适应模型误设定能否补偿该效应，但发现其没有显著差异。我们也检验了有原则的数据增强的效果，发现其优于基线但未能完全补偿所观察到的效应。我们将此解释为冷后验效应源于我们训练样本过度有效的筛选导致了似然误设定，并将其作为未来贝叶斯深度学习方法用于射电星系分类的潜在问题提出。
引用
@article{arxiv.2111.11654,
title = {Weight Pruning and Uncertainty in Radio Galaxy Classification},
author = {Devina Mohan and Anna Scaife},
journal= {arXiv preprint arXiv:2111.11654},
year = {2021}
}
备注
Accepted in: Fourth Workshop on Machine Learning and the Physical Sciences (35th Conference on Neural Information Processing Systems; NeurIPS2021); final version (corrected typo)