基于事件的相干光流的向量符号架构
计算机视觉与模式识别
2025-01-23 v3 符号计算
摘要
从特征匹配的角度来看，事件相机的相干光流估计涉及通过比较伴随事件帧之间的特征相似性来识别事件对应关系。在这项工作中，我们利用向量符号架构（Vector Symbolic Architectures, VSA）为事件帧引入了一种有效且鲁棒的高维特征描述子。VSA 中邻近变量之间的拓扑相似性有助于增强光流匹配点特征描述子的表示相似性，而其结构化的符号表示能力促进了来自事件极性和多个空间尺度的特征融合。基于这种高维特征描述子，我们提出了一种用于基于事件光流的新型特征匹配框架，包含基于模型的方法（VSA-Flow）和自监督学习方法（VSA-SM）。在 VSA-Flow 中，准确的相干光流估计验证了高维特征描述子的有效性。在 VSA-SM 中，提出了一种基于高维特征描述子的新型相似度最大化方法，以仅从事件中自监督地学习光流，消除了对辅助灰度图像的需求。评估结果表明，与基于模型和自监督学习方法相比，我们基于 VSA 的方法在 DSEC 基准测试上实现了更高的精度，同时在 MVSEC 基准测试上在这两种方法中均保持竞争力。这一贡献标志着基于特征匹配方法的基于事件光流领域的重大进展。
引用
@article{arxiv.2405.08300,
title = {Vector-Symbolic Architecture for Event-Based Optical Flow},
author = {Hongzhi You and Yijun Cao and Wei Yuan and Fanjun Wang and Ning Qiao and Yongjie Li},
journal= {arXiv preprint arXiv:2405.08300},
year = {2025}
}