神经提示搜索

Yuanhan Zhang; Kaiyang Zhou; Ziwei Liu

神经提示搜索

计算机视觉与模式识别 2022-06-15 v2 人工智能机器学习

作者: Yuanhan Zhang , Kaiyang Zhou , Ziwei Liu

摘要

近年来视觉模型的规模呈指数级增长，尤其在 Vision Transformer 出现之后。这推动了参数高效微调方法的发展，例如学习适配器层或视觉提示令牌，这些方法允许仅训练模型参数的极小部分，而从预训练获得的大部分参数被冻结。然而，设计合适的微调方法并非易事：人们可能需要尝试一长串设计选择，更不用说每个下游数据集往往还需要定制设计。在本文中，我们将现有的参数高效微调方法视为“提示模块”，并提出神经提示搜索（NOAH），一种通过神经架构搜索算法为大型视觉模型学习每个下游数据集定制的提示模块最优设计的新方法。通过在超过 20 个视觉数据集上进行大量实验，我们证明 NOAH（i）优于单个提示模块，（ii）具有良好的少样本学习能力，以及（iii）具有领域泛化能力。代码和模型可在 https://github.com/Davidzhangyuanhan/NOAH 获取。

关键词

参数高效微调视觉提示神经架构搜索 Vision Transformer 少样本学习领域泛化

引用

@article{arxiv.2206.04673,
  title  = {Neural Prompt Search},
  author = {Yuanhan Zhang and Kaiyang Zhou and Ziwei Liu},
  journal= {arXiv preprint arXiv:2206.04673},
  year   = {2022}
}

备注

Code: https://github.com/Davidzhangyuanhan/NOAH

神经提示搜索

摘要

关键词

引用

备注

相关论文