面向脉冲神经网络的自适应标记视觉转换器
人工智能
2024-08-23 v1 计算机视觉与模式识别
摘要
在脉冲神经网络（SNN）的训练和推理中，直训练方法和轻量计算方法已分别开发出来，以减少功耗。然而，只有有限数量的方案同时应用这两种机制，未能充分发挥基于脉冲神经网络（ViT）优势的优势，因为它们最初是为卷积神经网络（CNN）设计的。本文提出了 AT-SNN，用于在基于脉冲神经网络的 ViT 推理期间动态调整处理的标记数量，功耗与标记数量成正比。我们首先演示了将自适应计算时间（ACT）应用到基于脉冲神经网络的 ViT 的可行性，使其能够选择性地丢弃信息较少的空间标记。此外，我们提出了一种基于标记相似性的新型标记合并机制，进一步减少标记数量，同时提高准确率。我们将 AT-SNN 实现于 Spikformer，并在 CIFAR10、CIFAR-100 和 TinyImageNet 上的图像分类任务中展示了 AT-SNN 在实现高能源效率和准确率方面的有效性。例如，我们的方法在 CIFAR-100 上使用的标记数比现有最佳方法减少最高可达 42.4%，同时保持更高的准确率。
引用
@article{arxiv.2408.12293,
title = {AT-SNN: Adaptive Tokens for Vision Transformer on Spiking Neural Network},
author = {Donghwa Kang and Youngmoon Lee and Eun-Kyu Lee and Brent Kang and Jinkyu Lee and Hyeongboo Baek},
journal= {arXiv preprint arXiv:2408.12293},
year = {2024}
}
备注
8 pages