训练独立子网络以实现鲁棒预测
机器学习
2021-08-06 v2 计算机视觉与模式识别
机器学习
摘要
近期高效集成神经网络的方法表明，相较于原始网络，以可忽略的参数增长即可实现强劲的鲁棒性与不确定性表现。然而，这些方法在预测时仍需多次前向传播，导致显著的计算成本。在本工作中，我们展示了一个令人惊讶的结果：在单次模型前向传播下，可“免费”获得使用多次预测带来的益处。具体而言，我们展示利用多输入多输出（MIMO）配置，人们能够借助单一模型的容量训练多个独立学习当前任务的子网络。通过集成这些子网络的预测，我们在不增加计算量的情况下改善了模型鲁棒性。我们观察到，在 CIFAR10、CIFAR100、ImageNet 及其分布外变体上，负对数似然、准确率和校准误差相较先前方法均有显著改善。
引用
@article{arxiv.2010.06610,
title = {Training independent subnetworks for robust prediction},
author = {Marton Havasi and Rodolphe Jenatton and Stanislav Fort and Jeremiah Zhe Liu and Jasper Snoek and Balaji Lakshminarayanan and Andrew M. Dai and Dustin Tran},
journal= {arXiv preprint arXiv:2010.06610},
year = {2021}
}
备注
Updated to the ICLR camera ready version, added reference to Soflaei et al. 2020