基于普遍视觉惯性监督的 mmWave 雷达场景流估计框架
计算机视觉与模式识别
2025-07-08 v1 机器人学
摘要
本工作提出了一种由广泛视觉惯性 (VI) 传感器套件监督的 mmWave 雷达场景流估计框架，允许来自智能车的众所周知训练数据。在智能车中，当前的 mmWave 雷达场景流估计方法通常由来自 3D LiDAR 的稠密点云监督，这些 LiDAR 昂贵且在智能车中并不普遍。虽然 VI 数据更易获取，但仅凭视觉图像无法捕获移动物体的 3D 运动，导致难以监督其场景流。此外，VI 刚性变换的时序漂移也会退化静态点的场景流估计。为此，我们提出了一种漂移自由的刚性变换估计器，将基于运动模型的ego-motion 与神经网络学习结果融合。它为雷达基准的刚性变换和静态点场景流提供强大的监督信号。随后，我们开发了一个光学-mmWave 监督提取模块，从而提取雷达刚性变换和场景流的监督信号。它通过学习动态点的场景流并受到光学和 mmWave 测量的联合约束来增强监督。在大量实验中，我们的该方法即使在烟雾环境中，也超过了使用昂贵 LiDAR 的最先进 (SOTA) 方法。
引用
@article{arxiv.2507.03938,
title = {VISC: mmWave Radar Scene Flow Estimation using Pervasive Visual-Inertial Supervision},
author = {Kezhong Liu and Yiwen Zhou and Mozi Chen and Jianhua He and Jingao Xu and Zheng Yang and Chris Xiaoxuan Lu and Shengkai Zhang},
journal= {arXiv preprint arXiv:2507.03938},
year = {2025}
}