训练后批归一化重校准
机器学习
2020-10-13 v1
摘要
我们重新审视 Shomron 和 Weiser（2020）先前提出的非阻塞同时多线程（NB-SMT）。NB-SMT 通过偶尔将多于一个线程“挤压”进共享的乘加（MAC）单元来以精度换取性能。然而，在共享 MAC 单元中容纳多于一个线程的方法可能会给计算引入噪声，从而改变模型的内部统计。我们表明，在 NB-SMT 存在的情况下，通过对批归一化层的运行均值和运行方差统计进行训练后重校准，可以挽回大量的模型性能。
引用
@article{arxiv.2010.05625,
title = {Post-Training BatchNorm Recalibration},
author = {Gil Shomron and Uri Weiser},
journal= {arXiv preprint arXiv:2010.05625},
year = {2020}
}