TMA：基于事件的光流的时间运动聚合
计算机视觉与模式识别
2023-08-22 v2
摘要
事件相机能够以高时间分辨率记录物体连续且细致的轨迹，从而为光流估计提供直观的运动线索。然而，大多数现有的基于学习的事件光流估计方法直接将连续事件流表示为静态帧，从而重塑了传统图像范式，忽略了事件数据固有的时间连续性。本文中，我们认为时间连续性是基于事件的光流的关键因素，并提出一种新颖的时间运动聚合（TMA）方法来释放其潜力。从技术上讲，TMA包含三个组件：融入时间上下文下中间运动信息的事件分割策略、对齐时间细粒度运动特征的线性查找策略，以及用于强调一致模式以增强运动特征的新颖运动模式聚合模块。通过融入时间细粒度运动信息，TMA可在早期阶段推导出优于现有方法的流估计，这不仅使TMA能获得更准确的最终预测，还极大降低了对细化次数的需求。在DSEC-Flow和MVSEC数据集上的大量实验验证了我们的TMA的有效性与优越性。值得注意的是，相较于E-RAFT，TMA在DSEC-Flow上准确率提升6%，推理时间减少40%。代码将发布于\url{https://github.com/ispc-lab/TMA}。
引用
@article{arxiv.2303.11629,
title = {TMA: Temporal Motion Aggregation for Event-based Optical Flow},
author = {Haotian Liu and Guang Chen and Sanqing Qu and Yanping Zhang and Zhijun Li and Alois Knoll and Changjun Jiang},
journal= {arXiv preprint arXiv:2303.11629},
year = {2023}
}
备注
Accepted by ICCV2023