使用动态潜在层次结构进行长时域视频预测
机器学习
2023-01-10 v2 人工智能
计算机视觉与模式识别
摘要
视频预测与生成任务众所周知极其困难，该领域的研究大体上局限于短期预测。尽管受噪声与随机性困扰，视频由按时空层次组织的特征构成，不同特征具有不同的时间动态。在本文中，我们引入动态潜在层次结构 (DLH)——一种深度层次潜在模型，将视频表示为在分离且流动的时间尺度上演化的潜在状态层次。每个潜在状态是一个具有两个分量的混合分布，分别表示 immediate past 与 predicted future，使得模型仅学习充分不相似状态之间的转移，同时将时间上持久的状态聚类得更近。利用这一独特性质，DLH 自然发现数据集的时空结构并跨其层次学习解耦表示。我们假设这简化了建模视频时间动态的任务，改进了长期依赖的学习，并减少了误差累积。作为证据，我们证明 DLH 在视频预测中优于 SOTA 基准，能更好地表示随机性，以及动态调节其层次与时间结构。我们的论文除其他外展示了表示学习的进展如何转化为预测任务的进展。
引用
@article{arxiv.2212.14376,
title = {Long-horizon video prediction using a dynamic latent hierarchy},
author = {Alexey Zakharov and Qinghai Guo and Zafeirios Fountas},
journal= {arXiv preprint arXiv:2212.14376},
year = {2023}
}