利用 GAN 自然化神经形态视觉事件流
计算机视觉与模式识别
2021-02-16 v1
摘要
动态视觉传感器能够在资源受限的环境中以高时间分辨率工作，但代价是无法捕捉静态内容。事件流的稀疏特性使其适用于高能效的脉冲神经网络，从而支持高效的下游处理任务。神经形态视觉面临的挑战之一是事件流缺乏可解释性。虽然大多数应用场景并不打算让除分类网络以外的任何对象对事件流进行视觉解读，但这错失了将这些传感器集成到常规高速 CMOS 传感器无法到达的空间的机会。例如，内窥镜等生物侵入式传感器必须符合严格的功耗预算，无法支持 MHz 级的图像积分速度。尽管动态视觉传感可以填补这一空白，但可解释性挑战依然存在，并将降低临床诊断中的可信度。生成对抗网络（GAN）为克服并补偿视觉芯片空间分辨率低及缺乏可解释性的问题提供了可能的解决方案。在本文中，我们系统性地将 Pix2Pix 网络应用于自然化来自脉冲转换的 CIFAR-10 和 Linnaeus 5 数据集的事件流。该网络的质量通过对自然化事件流进行图像分类来基准测试，其分类精度收敛至与等效原始图像相差 2.81% 以内，并且相对于未处理的事件流在 CIFAR-10 和 Linnaeus 5 数据集上提升了 13.19%。
引用
@article{arxiv.2102.07243,
title = {Naturalizing Neuromorphic Vision Event Streams Using GANs},
author = {Dennis Robey and Wesley Thio and Herbert Iu and Jason Eshraghian},
journal= {arXiv preprint arXiv:2102.07243},
year = {2021}
}
备注
5 pages, 7 figures