视频占用模型
计算机视觉与模式识别
2024-07-16 v1 人工智能
摘要
我们提出了一套新的视频预测模型，旨在支持下游控制任务。我们将这些模型称为视频占用模型（Video Occupancy models, VOCs）。VOCs 在紧凑的潜在空间中运行，因而无需针对单个像素做出预测。与先前的潜在空间世界模型不同，VOCs 直接预测未来状态的贴现分布，只需一步即可完成，从而避免了多步滚动的需要。我们表明，这两种属性在构建用于下游控制的视频预测模型时都有益处。代码已公开于 \href{https://github.com/manantomar/video-occupancy-models}{\texttt{github.com/manantomar/video-occupancy-models}}。
引用
@article{arxiv.2407.09533,
title = {Video Occupancy Models},
author = {Manan Tomar and Philippe Hansen-Estruch and Philip Bachman and Alex Lamb and John Langford and Matthew E. Taylor and Sergey Levine},
journal= {arXiv preprint arXiv:2407.09533},
year = {2024}
}