通过情境自调制重新评估元学习优化算法
机器学习
2025-06-12 v2 动力系统
摘要
情境自调制（CSM）（Nzoyem等，2025）是一种强大的正则化机制，用于Neural Context Flows（NCFs），展示了在物理系统上的强大元学习能力。然而，CSM在不同模态和高数据 regime中的适用性存在局限。在本文中，我们引入两个扩展：iCSM通过将情境嵌入函数空间，将CSM扩展到无限维变化；StochasticNCF通过提供基于所抽样最近环境集合的元梯度更新的低成本近似来提高可扩展性。这两个扩展通过在一系列任务上的全面实验进行演示，包括动力系统、计算机视觉挑战和曲线拟合问题。此外，我们通过Taylor-Mode自动微分纳入更高阶Taylor展开，发现更高阶近似并不一定能提高泛化。最后，我们展示了如何将CSM集成到其他元学习框架中，FlashCAVIA是CAVIA元学习框架（Zintgraf等，2019）的一个计算高效扩展。总体而言，这些贡献凸显了CSM的显著好处，表明其在元学习和超出分布任务中的优势特别适合物理系统。我们开源的库，旨在模块化地将自调制集成到情境元学习工作流程中，可在 https://github.com/ddrous/self-mod 查看。
引用
@article{arxiv.2410.01655,
title = {Reevaluating Meta-Learning Optimization Algorithms Through Contextual Self-Modulation},
author = {Roussel Desmond Nzoyem and David A. W. Barton and Tom Deakin},
journal= {arXiv preprint arXiv:2410.01655},
year = {2025}
}
备注
Accepted as a conference paper at CoLLAs 2025. 23 pages, 11 figures, 5 tables