通过稀疏插值专家释放元调优在小样本泛化中的潜力
计算机视觉与模式识别
2024-07-02 v3 机器学习
摘要
近期的成功表明，基础模型的参数高效微调已成为视觉领域迁移学习的最先进方法，取代了元学习等丰富的替代方案。为了结合两者之长，元调优引入了基础模型的后续优化阶段，但迄今为止仅取得了有限的成功，并且关键的是，在分布外（OOD）任务上往往表现不佳。在本文中，我们引入稀疏元调优（SMAT），这是一种受稀疏专家混合方法启发的方法，经过训练可自动隔离预训练参数的子集，以便在每个任务上进行元调优。SMAT 成功克服了对分布外任务的敏感性，并兑现了增强视觉基础模型迁移能力、超越参数高效微调的承诺。我们在具有挑战性的 Meta-Dataset 组合（增加了额外的分布外任务）上，在零样本和基于梯度的适应两种设置下，均建立了新的最先进结果。此外，我们深入分析了稀疏专家方法中学习到的稀疏模式相对于手工设计稀疏模式的优越性，以及稀疏度水平在平衡分布内与分布外泛化中的关键重要性。我们的代码已公开。
引用
@article{arxiv.2403.08477,
title = {Unleashing the Power of Meta-tuning for Few-shot Generalization Through Sparse Interpolated Experts},
author = {Shengzhuang Chen and Jihoon Tack and Yunqiao Yang and Yee Whye Teh and Jonathan Richard Schwarz and Ying Wei},
journal= {arXiv preprint arXiv:2403.08477},
year = {2024}
}
备注
The Forty-first International Conference on Machine Learning, 2024