面向少样本学习的神经微调搜索
计算机视觉与模式识别
2023-06-16 v1 机器学习
摘要
在少样本识别中，在一个类别集合上训练好的分类器需要快速适应并泛化到不相交的新类别集合。为此，近期研究已表明使用精心设计的适应架构进行微调的有效性。然而这引出了一个问题：如何设计最优的适应策略？本文通过神经架构搜索（NAS）的视角研究该问题。给定预训练神经网络，我们的算法发现适配器的最优排布、哪些层保持冻结以及哪些层进行微调。我们通过将该方法应用于残差网络和视觉Transformer，展示了NAS方法的通用性，并在Meta-Dataset和Meta-Album上报告了最先进的性能。
引用
@article{arxiv.2306.09295,
title = {Neural Fine-Tuning Search for Few-Shot Learning},
author = {Panagiotis Eustratiadis and Łukasz Dudziak and Da Li and Timothy Hospedales},
journal= {arXiv preprint arXiv:2306.09295},
year = {2023}
}