SpikeMM：高速微运动的灵活放大
计算机视觉与模式识别
2024-06-04 v1
摘要
高速微运动的放大具有重要前景，应用范围从快速工业环境中的故障检测到医疗程序中的精度提升。然而，传统的运动放大算法在高速场景中常因低采样率或运动模糊而遇到挑战。近年来，脉冲相机因其以卓越保真度捕获时间和空间频率域的独特能力，已成为此类环境中视觉任务的优越替代方案。与传统相机以固定低频运行不同，脉冲相机模拟视网膜的功能，使用脉冲流异步记录每个像素位置的光子变化。这种创新方法全面记录了时间和空间视觉信息，使其特别适用于放大高速微运动。本文介绍了SpikeMM，一种专门为高速运动放大设计的开创性基于脉冲的算法。SpikeMM集成了多级信息提取、空间上采样和运动放大模块，提供了一种适用于广泛场景的自监督方法。值得注意的是，SpikeMM便于与高性能超分辨率和运动放大算法无缝集成。我们通过使用脉冲相机捕获的场景进行严格验证，证实了SpikeMM的有效性，展示了其在真实高频环境中放大运动的能力。
引用
@article{arxiv.2406.00383,
title = {SpikeMM: Flexi-Magnification of High-Speed Micro-Motions},
author = {Baoyue Zhang and Yajing Zheng and Shiyan Chen and Jiyuan Zhang and Kang Chen and Zhaofei Yu and Tiejun Huang},
journal= {arXiv preprint arXiv:2406.00383},
year = {2024}
}