事件相机的异步稀疏高效 token：斑块脉冲
计算机视觉与模式识别
2025-10-31 v1 机器人学
摘要
我们提出事件的 tokenization 方法，并专为事件相机设计了一个 tokenizer，即 Spiking Patches。给定一流异步且在空间上稀疏的事件，我们的目标是发现一种保留这些属性的事件表示方法。先前的工作将事件表示为帧或体素。然而，尽管这些表示方式能够获得高精度，帧和体素都是同步的，并且会降低空间稀疏性。Spiking Patches 提供了保留事件相机独特性的方法，我们在实验中表明，这在不牺牲精度的情况下实现了。我们使用 GNN、PCN 和 Transformer 对我们的 tokenizer 进行评估，分别用于手势识别和目标检测。Spiking Patches 的 token 在推理速度上比基于体素的 token 快至最高 3.4 倍，比基于帧的 token 快至最高 10.4 倍。在保持一致精度的同时，我们在手势识别上实现了最高 3.8 的绝对精度提升，在目标检测上实现了最高 1.4 的精度提升。因此，tokenization 构成了事件视觉领域的一种新方向，并为能够保留事件相机特性的方法铺平了道路。
引用
@article{arxiv.2510.26614,
title = {Spiking Patches: Asynchronous, Sparse, and Efficient Tokens for Event Cameras},
author = {Christoffer Koo Øhrstrøm and Ronja Güldenring and Lazaros Nalpantidis},
journal= {arXiv preprint arXiv:2510.26614},
year = {2025}
}