Spike-NVPT：通过基于生物启发的时序滤波和离散化学习稳健视觉提示
计算机视觉与模式识别
2026-04-21 v1
摘要
预训练视觉模型已在 diverse 领域中广泛应用。基于提示调谐的方法已成为适应预训练视觉模型的高效参数范式。虽然在 standard benchmark 上有效，但连续稠密 nature of 学习的提示可能导致对输入噪声的敏感性，因为高容量的提示倾向于过拟合 task-irrelevant 细节。为了解决这一 trade-off，我们提出了 Spike-NVPT，一种 noise-robust 视觉提示调谋方法。具体而言，我们设计了一个基于脉冲神经元的 Signal Filtering Layer，该层使用 integrate-and-fire（IF）机制在时间上累积 task-relevant 信号并滤波 transient 噪声波动。随后的 Spike Discretization Unit 将滤波后的信号转换为稀疏二进制提示。这种离散化充当强正则化器，迫使模型在最具辨识力和稳健特征上锚定 decision boundaries。值得注意的是，生成的二进制提示在 deployment 时保持 static，确保在推理期间没有额外的计算开销。实验结果表明，Spike-NVPT 实现了优于 conventional 方法的 superior robust performance，最大提高 11.2%，并在 clean 数据集上保持 competitive accuracy。就目前而言，这是首次尝试利用脉冲神经元来微调传统人工神经网络（ANN）基于视觉的模型。
引用
@article{arxiv.2604.18284,
title = {Spike-NVPT: Learning Robust Visual Prompts via Bio-Inspired Temporal Filtering and Discretization},
author = {Qiugang Zhan and Anning Jiang and Ran Tao and Ao Ma and Xiangyu Zhang and Xiurui Xie and Guisong Liu},
journal= {arXiv preprint arXiv:2604.18284},
year = {2026}
}