通过元学习在高维概念空间中导航

Max Gupta

通过元学习在高维概念空间中导航

机器学习 2025-11-06 v3

作者: Max Gupta

摘要

快速从有限示例中学习抽象概念是人类智能的标志性特征。本文探讨了梯度基方法的元学习是否能为神经网络提供以高效方式获取离散概念的归纳偏置。我将元学习方法与基于监督学习的基线进行比较,在由概率上下文无关文法(PCFG)生成的布尔概念(逻辑语句)上进行测试。通过系统性地变更概念维度(特征数量)和递归组成性(语法递归深度),我划分了元学习在少样本概念学习中稳健地取得改进以及在其中不取得改进的复杂性区间。元学习器在处理组成复杂度方面远优于特征复杂度。我通过对元学习器权重的表征分析以及损失景观分析阐明了特征复杂度增加损失轨迹的粗糙程度,从而表明曲率感知优化比一阶方法更有效。我发现通过增加元SGD中的适应步骤数,可在复杂概念上实现对分布外一般化的改进,其中适应作为鼓励探索更粗糙损失 Basin 的方式。总体而言,本工作揭示了在高维概念空间中学习组成性质与特征复杂度的细微差别,并为理解2阶方法和扩展梯度适应在少样本概念学习中的作用提供了道路。

关键词

元学习少样本学习组成性高维概念空间 DBMM

引用

@article{arxiv.2508.01948,
  title  = {Navigating High Dimensional Concept Space with Metalearning},
  author = {Max Gupta},
  journal= {arXiv preprint arXiv:2508.01948},
  year   = {2025}
}

备注

7 pages, 3 figures. Presented at the ICML 2025 HiLD Workshop

通过元学习在高维概念空间中导航

摘要

关键词

引用

备注

相关论文