FORML：一种用于 Stiefel 流形上元学习的黎曼无 Hessian 方法
机器学习
2024-06-04 v2
摘要
元学习问题通常被表述为双层优化，其中特定任务的参数和元参数分别在优化的内循环和外循环中更新。然而，在黎曼空间中执行优化（其中参数和元参数位于黎曼流形上）计算量很大。与欧几里得方法不同，黎曼反向传播需要计算二阶导数，其中包括通过黎曼算子（如回缩和正交投影）的反向计算。本文介绍了一种无 Hessian 方法，该方法使用 Stiefel 流形上导数的一阶近似。我们的方法显著减少了计算负载和内存占用。我们展示了如何使用强制最后一层分类层参数正交约束的 Stiefel 全连接层作为骨干网络的头部，从而加强基于梯度的元学习方法的表示重用。我们在各种少样本学习数据集上的实验结果证明了所提方法优于最先进的方法，特别是其欧几里得对应物 MAML。
引用
@article{arxiv.2402.18605,
title = {FORML: A Riemannian Hessian-free Method for Meta-learning on Stiefel Manifolds},
author = {Hadi Tabealhojeh and Soumava Kumar Roy and Peyman Adibi and Hossein Karshenas},
journal= {arXiv preprint arXiv:2402.18605},
year = {2024}
}