基于激活的早期停止提升元学习泛化能力

用于少样本学习的元学习算法旨在训练能够仅使用少量样本即可泛化到新任务的神经网络。早期停止对性能至关重要，可在模型对新任务分布达到最优泛化时停止训练。元学习中的早期停止机制通常依赖于在来自训练（源）数据集的元验证集的有标注样本上测量模型性能。这在少样本迁移学习设定中是有问题的，因为元测试集来自不同的目标数据集(OOD)，并可能与元验证集存在较大分布偏移。在本工作中，我们提出基于激活的早期停止(ABE)，作为元学习中基于验证的早期停止的替代方案。具体而言，我们分析了在元训练期间，在来自目标任务分布中单个任务的一小组无标注支持样本上，各隐藏层神经激活的演化，因为这构成了来自目标问题的最小且合理可获取的信息。我们的实验表明，对激活的简单、与标签无关的统计量提供了一种有效方式来估计目标泛化随时间的演化。在各隐藏层，我们从一阶和二阶矩刻画激活分布，再沿特征维度进一步汇总，得到紧凑而直观的四维空间刻画。检测在训练过程中何时、以及哪一层目标激活轨迹偏离源数据激活轨迹，使我们能够执行早期停止，并在跨越不同算法、源和目标数据集的大量少样本迁移学习设定中改善泛化。