使用普通设备实现 1000 倍更快的相机与机器视觉
计算机视觉与模式识别
2023-03-22 v1
摘要
在数字相机中，我们发现一个主要局限：继承自胶片相机的图像与视频形式阻碍了其捕捉快速变化的光子世界。在此，我们提出 vidar，一种比特序列阵列，其中每个比特表示光子累积是否已达到阈值，用以记录和重建任意时刻的场景辐射度。仅采用消费级 CMOS 传感器与集成电路，我们已开发出比传统相机快 1,000 倍的 vidar 相机。通过将 vidar 视为生物视觉中的脉冲序列，我们进一步开发了基于脉冲神经网络(spiking neural network)的机器视觉系统，该系统结合了机器的速度与生物视觉的机制，实现了比人类视觉快 1,000 倍的高速目标检测与跟踪。我们在助理裁判与目标指向系统中展示了 vidar 相机与超级视觉系统的效用。我们的研究有望从根本上革新图像与视频概念及相关产业，包括摄影、电影与视觉媒体，并开启一个由脉冲神经网络赋能的、无速度限制的机器视觉新时代。
引用
@article{arxiv.2201.09302,
title = {1000x Faster Camera and Machine Vision with Ordinary Devices},
author = {Tiejun Huang and Yajing Zheng and Zhaofei Yu and Rui Chen and Yuan Li and Ruiqin Xiong and Lei Ma and Junwei Zhao and Siwei Dong and Lin Zhu and Jianing Li and Shanshan Jia and Yihua Fu and Boxin Shi and Si Wu and Yonghong Tian},
journal= {arXiv preprint arXiv:2201.09302},
year = {2023}
}