基于 Meta Subspace Pursuit 的线性不变特征few-shot 多任务学习
机器学习
2026-05-14 v2 统计方法学
摘要
数据稀缺性是现代机器学习和人工智能面临的严重挑战，因为其实际成功通常依赖于大规模数据集的 availability。缓解数据不足问题的有效策略是首先利用来自其他数据源的信息，这些数据源在研究设计阶段具有某种相似性，然后在分析阶段采用多任务或 meta 学习框架。在本文中，我们关注那些跨任务系数共享不变低秩分量的多任务（或多源）线性模型，这是最近多任务或 meta 学习文献中考虑的流行结构假设。在此假设下，我们提出了一种新算法，称为 Meta Subspace Pursuit（缩写为 Meta-SP），该算法可证明地学习由不同任务共享的不变子空间。在此多任务或 meta 学习的理想化设置下，我们建立了所提出方法的算法和统计保证。进行了大量数值实验，将 Meta-SP 与几种竞争方法进行比较，包括流行的、即插即用的 model-agnostic meta 学习算法如 ANIL。这些实验表明，Meta-SP 在各种方面均优于竞争方法。
引用
@article{arxiv.2409.02708,
title = {Few-shot Multi-Task Learning of Linear Invariant Features with Meta Subspace Pursuit},
author = {Chaozhi Zhang and Lin Liu and Xiaoqun Zhang},
journal= {arXiv preprint arXiv:2409.02708},
year = {2026}
}