LiDAR-BIND-T: 面向机器人应用的改进且时序一致的传感器模态翻译与融合
计算机视觉与模式识别
2025-10-01 v3 人工智能
机器学习
机器人学
摘要
本文扩展了 LiDAR-BIND 框架，后者是将异构传感器（雷达、声纳）绑定到 LiDAR 所定义的潜在空间中的模块化多模态融合框架，增添了显式强制时序一致性的机制。我们引入了三个贡献：(i) 时间嵌入相似性，用于对齐连续的潜在表示；(ii) 运动对齐变换损失，用于匹配预测与真实 LiDAR 之间的位移；(iii) 使用专用时序模块的窗口时序融合。我们进一步更新模型架构以更好地保留空间结构。在雷达/声纳到 LiDAR 翻译评估中，结果显示时序和空间一致性得到改善，Cartographer-based SLAM（同时定位与地图）中的绝对轨迹误差降低，占据栅格图准确性提升。我们提出基于 Fréchet 视频运动距离（FVMD）和相关峰值距离度量的不同指标，提供实用的时序质量指标来评估 SLAM 性能。所提出的时序 LiDAR-BIND（或 LiDAR-BIND-T）在保持模块化模态融合的同时，显著提升了时序稳定性，使下游 SLAM 具备更好的鲁棒性和性能。
引用
@article{arxiv.2509.05728,
title = {LiDAR-BIND-T: Improved and Temporally Consistent Sensor Modality Translation and Fusion for Robotic Applications},
author = {Niels Balemans and Ali Anwar and Jan Steckel and Siegfried Mercelis},
journal= {arXiv preprint arXiv:2509.05728},
year = {2025}
}