用于少样本学习的子空间自适应先验
机器学习
2023-10-16 v1 人工智能
机器学习
摘要
基于梯度的元学习技术旨在从一组训练任务中提取有用的先验知识，从而可通过梯度下降更高效地学习新任务。尽管这些方法在各种场景中取得了成功，它们在学新任务时通常调整可训练层的所有参数。这忽视了针对给定任务分布可能更高效的学习策略，并可能易于过拟合，尤其在少样本学习中任务须从有限数目的样本中学习时。为解决这些问题，我们提出子空间自适应先验（SAP），一种新颖的基于梯度的元学习算法，其联合学习良好的初始化参数（先验知识）以及应以运算子集形式自适应的逐层参数子空间。如此，SAP 可基于底层任务分布学习用梯度下降调整哪些运算子集，同时在学新任务时降低过拟合风险。我们证明该能力颇有助益：SAP 在少样本图像分类设定中取得优越或具竞争力的性能（准确率提升介于 0.1% 与 3.9% 之间）。对所学子空间的分析表明，低维运算常产生高激活强度，指示其可能对达成良好少样本学习性能十分重要。为可复现性，我们公开发布所有研究代码。
引用
@article{arxiv.2310.09028,
title = {Subspace Adaptation Prior for Few-Shot Learning},
author = {Mike Huisman and Aske Plaat and Jan N. van Rijn},
journal= {arXiv preprint arXiv:2310.09028},
year = {2023}
}
备注
Accepted at Machine Learning Journal, Special Issue of the ECML PKDD 2023 Journal Track