无变换监督的学习等变渲染
计算机视觉与模式识别
2020-11-12 v1
摘要
我们提出一种自监督框架，从视频中学习自动划分为物体与背景的场景表示。我们的方法依赖于运动物体相对于其在帧间变换具有等变性，而背景保持恒定。训练后，我们可以实时操控并渲染场景，以创建未见过的物体、变换与背景的组合。我们在带背景的运动MNIST上展示了结果。
引用
@article{arxiv.2011.05787,
title = {Learned Equivariant Rendering without Transformation Supervision},
author = {Cinjon Resnick and Or Litany and Hugo Larochelle and Joan Bruna and Kyunghyun Cho},
journal= {arXiv preprint arXiv:2011.05787},
year = {2020}
}
备注
Workshop on Differentiable Vision, Graphics, and Physics in Machine Learning at NeurIPS 2020