基于STDP利用事件数据实现无监督脉冲实例分割
计算机视觉与模式识别
2021-11-15 v2 机器学习
图像与视频处理
摘要
脉冲神经网络(SNN)与神经形态工程领域为处理机器学习(ML)与计算机视觉(CV)问题带来了范式转变。这一范式转变源于对基于事件的感知与处理的采用。基于事件的视觉传感器可产生与场景动态相关的稀疏且异步的事件，不仅捕获空间信息，还捕获高保真的时间信息，同时避免了传统高帧率方法的额外开销与冗余。然而，随着这一范式转变，许多传统CV与ML技术并不适用于这些基于事件的时空视觉流，因此现有的识别、检测与分割方法十分有限。本文提出一种新方法，仅利用经脉冲时间依赖可塑性训练的脉冲卷积神经网络的权重（该网络原用于目标识别）即可执行实例分割。该方法挖掘网络内部特征表示的空间与时间特性，增添了这一新的判别能力。我们通过将一个用于人脸检测的单类无监督网络成功转化为多人脸识别与实例分割网络，展示了这一新能力。
引用
@article{arxiv.2111.05283,
title = {Unsupervised Spiking Instance Segmentation on Event Data using STDP},
author = {Paul Kirkland and Davide L. Manna and Alex Vicente-Sola and Gaetano Di Caterina},
journal= {arXiv preprint arXiv:2111.05283},
year = {2021}
}
备注
20 Pages, 13 Figures