弱监督学习的刚体三维场景流
计算机视觉与模式识别
2021-02-18 v1 人工智能
机器学习
机器人学
摘要
我们提出一种数据驱动的场景流估计算法，利用许多三维场景可由作为刚体运动的智能体集合来解释这一观察。我们方法的核心是一个能够在对象层级进行推理的深度架构，它将三维场景流与其他三维任务结合考虑。这种对象级抽象使我们能够放宽对稠密场景流监督的需求，仅需更简单的二值背景分割掩码和自我运动标注。我们宽松的监督要求使我们的方法非常适合于最近发布的用于自动驾驶的大规模数据集合，它们不包含稠密场景流标注。作为输出，我们的模型提供点级线索（如逐点流）和更高级别线索（如刚体对象层面的整体场景理解）。我们进一步提出一种测试时优化来精炼预测的刚体场景流。我们在四个不同的自动驾驶数据集上展示了我们方法的有效性和泛化能力。我们在 \url{github.com/zgojcic/Rigid3DSceneFlow} 发布源代码和预训练模型。
引用
@article{arxiv.2102.08945,
title = {Weakly Supervised Learning of Rigid 3D Scene Flow},
author = {Zan Gojcic and Or Litany and Andreas Wieser and Leonidas J. Guibas and Tolga Birdal},
journal= {arXiv preprint arXiv:2102.08945},
year = {2021}
}