绑定位置决定一切：视觉 Transformer 中 Hebbian 快速权重的应用
神经与进化计算
2026-05-06 v1 计算机视觉与模式识别
机器学习
摘要
标准变换器架构在训练期间学习固定的慢权重表示，缺乏在任务内快速适应的机制。相比之下，生物神经系统通过快速突触更新在推断期间形成暂时性关联记忆，这种特性称为 Hebbian 可塑性。本文对集成到多种变换器主干网络中的 Hebbian 快速权重 (HFW) 模块进行实证研究，包括 ViT-Small、DeiT-Small 和 Swin-Tiny。我们在 Omniglot 数据集上，使用 Prototypical Network 元学习框架评估六个模型变体：ViT、DeiT、Swin、ViT-Hebbian、DeiT-Hebbian 和 Swin-Hebbian，进行 5-way 1-shot 和 5-way 5-shot 分类任务。我们提出了一种针对 Swin-Tiny 的单一模块放置策略，即在所有层级阶段完成后对最终阶段特征图应用一个 HFW 模块。该设计避免了在每个阶段分别放置独立 Hebbian 模块导致的训练不稳定，实现了所有六个模型中最高的测试准确率（1-shot 为 96.2%；5-shot 为 99.2%），超出其非 Hebbian 基线 +0.3 个百分点。我们分析了 Swin 的移位窗口归纳偏置与任务级 Hebbian 绑定之间的相互作用，讨论了在低数据 regime 下为何 ViT 和 DeiT 变体的 per-block 放置会失败，并将结果置于更广泛的慢-快速权重元学习文献中。
引用
@article{arxiv.2605.02920,
title = {Where to Bind Matters: Hebbian Fast Weights in Vision Transformers for Few-Shot Character Recognition},
author = {Gavin Money and Sindhuja Penchala and Jiacheng Li and Noorbakhsh Amiri Golilarz},
journal= {arXiv preprint arXiv:2605.02920},
year = {2026}
}