Epinet对分布偏移的鲁棒性
机器学习
2022-07-04 v1
摘要
近期工作引入了epinet作为深度学习中不确定性建模的一种新方法。epinet是添加到传统神经网络上的一个小型神经网络，二者结合可产生预测分布。特别地，使用epinet可大幅提升跨多个输入的联合预测质量，即衡量神经网络对其未知之知的掌握程度。本文中，我们考察epinet是否能在分布偏移下提供类似优势。我们发现，在ImageNet-A/O/C上，epinet通常能改善鲁棒性指标。此外，这些改进比即便非常大的集成模型所带来的改进更为显著，且计算成本降低数个数量级。然而，相较于分布鲁棒深度学习中的突出问题，这些改进仍相对较小。epinet可能是工具箱中的有用工具，但远非完整解决方案。
引用
@article{arxiv.2207.00137,
title = {Robustness of Epinets against Distributional Shifts},
author = {Xiuyuan Lu and Ian Osband and Seyed Mohammad Asghari and Sven Gowal and Vikranth Dwaracherla and Zheng Wen and Benjamin Van Roy},
journal= {arXiv preprint arXiv:2207.00137},
year = {2022}
}