校准与剪枝：通过预测校准提升彩票票假设子网络的可靠性
机器学习
2020-10-01 v3 机器学习
摘要
过参数化网络初始化中存在子网络初始化（彩票），当其被独立训练时能够产生高度可泛化的模型，这一假设为网络初始化提供了关键见解并实现了高效推理。具有未校准置信度的监督模型往往过度自信，即使在做出错误预测时也是如此。在本文中，我们首次研究了过参数化网络中显式置信度校准如何影响所得彩票票的质量。更具体地说，我们引入了一套校准策略，从 mixup 正则化、方差加权置信度校准，到新提出的基于似然的校准和归一化分箱分配策略。此外，我们探索了不同的架构与数据集组合，并就置信度校准的作用得出了若干关键发现。我们的实证研究表明，即使在使用相对于源数据集具有挑战性分布偏移的数据重新训练时，包含校准机制也能在准确率和经验校准指标方面持续产生更有效的彩票票。
引用
@article{arxiv.2002.03875,
title = {Calibrate and Prune: Improving Reliability of Lottery Tickets Through Prediction Calibration},
author = {Bindya Venkatesh and Jayaraman J. Thiagarajan and Kowshik Thopalli and Prasanna Sattigeri},
journal= {arXiv preprint arXiv:2002.03875},
year = {2020}
}