基于事件相机的运动放大

在现实场景中检测并放大不可感知的高频运动对工业和医疗应用具有重要意义。这些运动的特征是振幅小、频率高。传统的运动放大方法依赖于昂贵的高速摄像机或有源光源，这限制了其应用范围。在本文中，我们提出了一种由事件相机和传统 RGB 相机组成的双相机系统，用于视频运动放大，该系统能够提供来自事件流的时间稠密信息和来自 RGB 图像的空间稠密数据。这种创新组合实现了对高频运动广泛且具成本效益的放大。通过重新审视物理相机模型，我们观察到估计运动方向和幅度需要将事件流与额外的图像特征相结合。在此基础上，我们提出了一种专为基于事件的运动放大设计的新型深度网络。我们的方法利用二阶循环传播模块（Second-order Recurrent Propagation module）有效地插值多帧，同时解决由放大运动引起的伪影和失真。此外，我们采用时间滤波器来区分噪声和有用信号，从而最大限度地减少噪声的影响。我们还引入了首个基于事件的运动放大数据集，其中包括用于训练和基准测试的合成子集和真实采集子集。通过在放大微小振幅、高频运动方面的广泛实验，我们证明了双相机系统和网络的有效性及准确性，为运动检测和放大提供了一种具有成本效益且灵活的解决方案。