融合帧与事件视觉的高速光流计算用于边缘应用
计算机视觉与模式识别
2022-07-25 v1 硬件体系结构
神经与进化计算
图像与视频处理
摘要
基于帧的相机进行光流计算可提供高精度，但其速度受限于算法模型大小或相机帧率，这使其难以满足高速应用需求。事件相机提供连续的异步事件流，克服了帧率限制。然而，处理该数据的算法要么借用类帧设置而限制了速度，要么精度较低。我们融合了基于帧与基于事件的流水线的精度与速度互补优势，在保持低错误率的同时提供高速光流。我们的仿生网络在 MVSEC 数据集上得到验证，在 4 倍加速下错误率仅下降 19%。随后我们在一个高速无人机飞行场景中演示了该系统，其中高速事件相机甚至在光学相机看到无人机之前就计算出了流场，使其适用于跟踪与分割等应用。本工作表明，基于帧处理的基本权衡可通过融合来自其他模态的数据来克服。
引用
@article{arxiv.2207.10720,
title = {Fusing Frame and Event Vision for High-speed Optical Flow for Edge Application},
author = {Ashwin Sanjay Lele and Arijit Raychowdhury},
journal= {arXiv preprint arXiv:2207.10720},
year = {2022}
}