面向视觉转换器的训练自由神经搜索：神经切向核视角
计算机视觉与模式识别
2024-05-09 v1 人工智能
机器学习
摘要
本文探讨了如何从神经切向核 (NTK) 角度进行无需训练的神经搜索，以寻找视觉转换器。与以往观察NTK基指标能有效预测CNN在初始化时性能不同，我们实证表明其在ViT搜索空间中的无效性。我们假设，ViT中基本特征学习偏好是其在NAS中应用NTK无效的根本原因。我们从理论和实证两方面验证，NTK本质上仅估计神经网络学习低频信号的能力，完全忽略了特征学习中高频信号的影响。为解决这一局限，我们提出了一种新方法，称为ViNTK，通过整合输入的傅里叶特征，将标准NTK推广到高频域。在图像分类和语义分割任务上的多个ViT搜索空间实验表明，我们的方法在保持所搜索网络性能相似的同时，显著加快了相较于先前SOTA NAS方法的搜索成本。
引用
@article{arxiv.2405.04536,
title = {When Training-Free NAS Meets Vision Transformer: A Neural Tangent Kernel Perspective},
author = {Qiqi Zhou and Yichen Zhu},
journal= {arXiv preprint arXiv:2405.04536},
year = {2024}
}
备注
ICASSP2024 oral