关联视觉与运动以实现自监督以对象为中心的感知
计算机视觉与模式识别
2023-07-17 v1
摘要
以对象为中心的表示使自动驾驶算法能够推理许多独立智能体与场景特征之间的交互。传统上这些表示通过监督学习获得，但这将感知与下游驾驶任务解耦并可能损害泛化。本工作中，我们调整一种自监督以对象为中心的视觉模型，仅使用 RGB 视频与车辆位姿作为输入来执行对象分解。我们证明我们的方法在 Waymo Open 感知数据集上获得有前景的结果。尽管对象掩码质量落后于监督方法或使用更多特权信息的替代方法，我们发现我们的模型能够学习随时间融合多相机视角的表示，并成功跟踪数据集中的许多车辆与行人。我们的模型代码见于 https://github.com/wayveai/SOCS。
引用
@article{arxiv.2307.07147,
title = {Linking vision and motion for self-supervised object-centric perception},
author = {Kaylene C. Stocking and Zak Murez and Vijay Badrinarayanan and Jamie Shotton and Alex Kendall and Claire Tomlin and Christopher P. Burgess},
journal= {arXiv preprint arXiv:2307.07147},
year = {2023}
}
备注
Presented at the CVPR 2023 Vision-Centric Autonomous Driving workshop