关于[V]-Mamba的低样本迁移性
计算机视觉与模式识别
2024-03-19 v1 机器学习
摘要
现代大规模神经网络的优势在于其能够用少量样本高效适应新任务。虽然广泛研究了Vision Transformer（ViTs）在各种下游任务和多种约束下的迁移性，但本研究转向探讨[V]-Mamba的迁移学习潜力。我们将其性能与ViTs在不同的few-shot数据预算和有效迁移方法下进行比较。我们的分析揭示了[V]-Mamba在few-shot transfer性能中的三个关键见解：(a)[V]-Mamba在使用线性探测（LP）进行迁移时，表现出优于或相当于ViTs的few-shot学习能力；(b)相反，[V]-Mamba在采用视觉提示（VP）作为迁移方法时，表现出弱于或相当于ViTs的few-shot学习性能；(c)我们观察到，[V]-Mamba模型规模与LP和VP之间迁移性能差距呈现较弱的正相关。这一初步分析为进一步了解[V]-Mamba变体及其与ViTs的区别奠定了基础。
引用
@article{arxiv.2403.10696,
title = {On the low-shot transferability of [V]-Mamba},
author = {Diganta Misra and Jay Gala and Antonio Orvieto},
journal= {arXiv preprint arXiv:2403.10696},
year = {2024}
}
备注
Preprint (Work in progress)