关于隐式元学习的训练及其在一致性正则化归纳加权中的应用
机器学习
2023-10-31 v1 人工智能
摘要
使用隐式梯度的元学习为标准技术（依赖内循环训练的轨迹）提供了一种令人振奋的替代方案。然而，隐式元学习（IML）需要计算二阶梯度，尤其是 Hessian 矩阵，这对于现代深度学习模型而言计算上不可行。已有多种 Hessian 近似方法被提出，但对其计算代价、稳定性、所得解的泛化能力以及估计精度的系统性比较在很大程度上被忽视了。在本研究中，我们首先对各类近似方法及其纳入 IML 训练流程后的影响进行系统性比较分析。我们明确了 IML 中出现灾难性遗忘的情形，并从近似方法无法估计收敛点处曲率的角度解释了其成因。我们揭示并补救了 IML 训练不稳定的来源。还详细分析了各种逆 Hessian-向量积近似方法的效率。随后，我们利用所获见解提出并评估了一种新颖的半监督学习算法，该算法学会归纳式地对一致性正则化损失进行加权。我们展示了如何通过训练一个“置信度网络”来提取特定领域特征，从而学会上调有用图像的权重并下调分布外样本的权重。结果优于基线 FixMatch 的性能。
引用
@article{arxiv.2310.18741,
title = {On Training Implicit Meta-Learning With Applications to Inductive Weighing in Consistency Regularization},
author = {Fady Rezk},
journal= {arXiv preprint arXiv:2310.18741},
year = {2023}
}