深度至关重要：用于鲁棒自主代理的多模态 RGB-D 感知
机器人学
2025-11-14 v3 计算机视觉与模式识别
机器学习
摘要
仅依赖感知来做出实时控制决策的自主代理需要高效且鲁棒的架构。在本工作中，我们证明在 RGB 输入上补充深度信息显著增强了代理预测转向指令的能力，相比仅使用 RGB 更为有效。我们基准测试了利用融合的 RGB-D 特征进行序列决策的轻量级循环控制器。为训练模型，我们使用由专家驾驶员通过物理方向盘控制的小型自主汽车收集高质量数据，捕获不同级别的转向难度。我们的模型成功部署在真实硬件上，并在分布外条件下天然避免了动态和静态障碍物。具体而言，我们的研究发现深度数据的早期融合产生了高度鲁棒的控制器，即使在帧丢失和噪声水平增加的情况下仍然有效，且不损害网络对任务的专注。
引用
@article{arxiv.2503.16711,
title = {Depth Matters: Multimodal RGB-D Perception for Robust Autonomous Agents},
author = {Mihaela-Larisa Clement and Mónika Farsang and Felix Resch and Mihai-Teodor Stanusoiu and Radu Grosu},
journal= {arXiv preprint arXiv:2503.16711},
year = {2025}
}