面向计算机视觉的神经世界模型

人类通过被动观察与主动交互学习关于世界的心智模型，从而在其环境中导航。他们的世界模型使他们能够预期接下来可能发生什么，并依据潜在目标采取相应行动。此类世界模型在复杂环境（如自动驾驶）中的规划具有重大前景。人类驾驶员或自动驾驶系统用眼睛或相机感知周围环境，推断世界的内部表示，该表示应：(i) 具有空间记忆（例如遮挡），(ii) 填补部分可观测或含噪输入（例如被阳光致盲时），以及 (iii) 能够对不可观测事件进行概率推理（例如预测不同的可能未来）。它们是通过其世界模型在物理世界中预测、规划和行动的具身智能体。本论文提出一个通用框架，从相机观测与专家示范中训练由深度神经网络参数化的世界模型与策略。我们利用几何、语义和运动等重要计算机视觉概念将世界模型扩展到复杂城市驾驶场景。首先，我们提出一个预测计算机视觉中重要量的模型：深度、语义分割与光流。随后我们使用 3D 几何作为归纳偏置在鸟瞰图空间中运行。我们首次提出一个仅从 360°环视单目相机在鸟瞰图中预测动态智能体概率未来轨迹的模型。最后，我们展示了在闭环驾驶中学习世界模型的益处。我们的模型可在城市驾驶环境中联合预测静态场景、动态场景与自车行为。