校准被操纵的彩票：让所有彩票都可靠
机器学习
2023-03-02 v2 人工智能
计算机视觉与模式识别
摘要
尽管稀疏训练已成功用于各种资源受限的深度学习任务，以节省内存、加速训练和减少推理时间，但所产生的稀疏模型的可靠性仍未得到探索。先前的研究表明深度神经网络往往过于自信，而我们发现稀疏训练加剧了这个问题。因此，校准稀疏模型对于可靠的预测和决策至关重要。在本文中，我们提出了一种新的稀疏训练方法，以产生具有改进置信度校准的稀疏模型。与先前仅使用一个掩码来控制稀疏拓扑的研究不同，我们的方法利用了两个掩码，包括一个确定性掩码和一个随机掩码。前者通过利用权重和梯度的幅度来高效地搜索和激活重要权重。而后者通过随机更新带来更好的探索并找到更合适的权重值。理论上，我们证明了我们的方法可以被视为概率深度高斯过程的分层变分近似。在多个数据集、模型架构和稀疏度上的大量实验表明，我们的方法将ECE值降低了高达47.8%，同时保持甚至提高了准确率，且仅略微增加了计算和存储负担。
引用
@article{arxiv.2302.09369,
title = {Calibrating the Rigged Lottery: Making All Tickets Reliable},
author = {Bowen Lei and Ruqi Zhang and Dongkuan Xu and Bani Mallick},
journal= {arXiv preprint arXiv:2302.09369},
year = {2023}
}