SHOT：沿优化轨迹抑制 Hessian 的基于梯度的元学习
机器学习
2023-10-05 v1 计算机视觉与模式识别
摘要
在本文中，我们假设基于梯度的元学习（GBML）在内循环中沿优化轨迹隐式抑制 Hessian。基于此假设，我们引入一种称为 SHOT（沿优化轨迹抑制 Hessian，Suppressing the Hessian along the Optimization Trajectory）的算法，该算法通过最小化目标模型与参考模型参数间的距离来在内循环中抑制 Hessian。尽管涉及高阶项，SHOT 并未显著增加基线模型的计算复杂度。它对 GBML 中所用算法与架构均无关，因而具有高度通用性并适用于任何 GBML 基线。为验证 SHOT 的有效性，我们在标准少样本学习任务上进行实证测试并定性分析其动态。我们从经验上证实了假设，并展示 SHOT 优于相应基线。代码见：https://github.com/JunHoo-Lee/SHOT
引用
@article{arxiv.2310.02751,
title = {SHOT: Suppressing the Hessian along the Optimization Trajectory for Gradient-Based Meta-Learning},
author = {JunHoo Lee and Jayeon Yoo and Nojun Kwak},
journal= {arXiv preprint arXiv:2310.02751},
year = {2023}
}