TaskNorm：为元学习重新审视批归一化
机器学习
2020-07-14 v2 机器学习
摘要
现代用于图像分类的元学习方法依赖日益加深的网络以实现最先进的性能，使得批归一化成为元学习流程中不可或缺的组成部分。然而，元学习设置的分层特性带来了若干挑战，可能使常规批归一化失效，从而有必要重新审视该设置下的归一化。我们评估了一系列面向元学习场景的批归一化方法，并提出了一种称为 TaskNorm 的新方法。在十四个数据集上的实验表明，批归一化的选择对基于梯度和无梯度元学习方法的分类准确率与训练时间均有显著影响。重要的是，TaskNorm 被发现有持续的性能提升。最后，我们提供了一套归一化的最佳实践，以便对元学习算法进行公平比较。
引用
@article{arxiv.2003.03284,
title = {TaskNorm: Rethinking Batch Normalization for Meta-Learning},
author = {John Bronskill and Jonathan Gordon and James Requeima and Sebastian Nowozin and Richard E. Turner},
journal= {arXiv preprint arXiv:2003.03284},
year = {2020}
}