序列 Attend, Infer, Repeat：运动物体的生成建模
机器学习
2018-11-22 v2 计算机视觉与模式识别
机器学习
摘要
我们提出序列 Attend, Infer, Repeat（SQAIR），一种用于运动物体视频的可解释深度生成模型。它能在整个帧序列中可靠地发现并跟踪物体，也可基于当前帧生成未来帧，从而模拟物体的预期运动。这是通过在模型的潜变量中显式编码物体存在、位置与外观来实现的。SQAIR 保留了其前身 Attend, Infer, Repeat（AIR，Eslami 等人，2016）的全部优势，包括以无监督方式学习，并克服了其缺陷。我们使用运动多 MNIST 数据集展示 AIR 在检测重叠或部分遮挡物体上的局限，并展示 SQAIR 如何利用物体的时间一致性克服这些局限。最后，我们还将 SQAIR 应用于真实世界行人 CCTV 数据，在无监督情况下学习可靠地检测、跟踪并生成行走的行人。
引用
@article{arxiv.1806.01794,
title = {Sequential Attend, Infer, Repeat: Generative Modelling of Moving Objects},
author = {Adam R. Kosiorek and Hyunjik Kim and Ingmar Posner and Yee Whye Teh},
journal= {arXiv preprint arXiv:1806.01794},
year = {2018}
}
备注
25 pages, 19 figures, NeurIPS 2018, code: https://github.com/akosiorek/sqair, video: https://youtu.be/-IUNQgSLE0c