CARFF：用于 3D 场景预测的条件自动编码 Radiance Field

我们提出了 CARFF 方法，用于给定过去观察后预测未来 3D 场景。该方法将 2D 自我中心图像映射到对合理 3D 潜在 scene configuration 分布，并预测假设场景随时间的演变。我们的潜在变量条件化全局 Neural Radiance Field（NeRF）以表示 3D 场景模型，实现可解释的预测和简便的下游规划。这一方法将世界建模为 POMDP，并考虑环境状态和动力学不确定性的复杂情景。具体而言，我们采用 Pose-Conditional-VAE 和 NeRF 的两阶段训练来学习 3D 表示，利用混合密度网络自回归预测潜在 scene 表示。我们在使用 CARLA 驾驶模拟器的情景中展示了该方法的实用性，其中 CARFF 能够在涉及遮挡的复杂多智能体自动驾驶场景中高效进行 trajectory 和 contingency 规划。