从视频中无监督发现三维物理对象
计算机视觉与模式识别
2021-03-24 v3 机器学习
摘要
我们研究无监督物理对象发现问题。现有框架旨在基于每个对象的外观将场景分解为二维片段，而我们探索物理学，特别是物体间的相互作用，如何以无监督的方式促进从视频中解耦出物体的三维几何与位置。受发展心理学启发，我们的物理对象发现网络（POD-Net）同时使用多尺度像素线索和物理运动线索，以精确分割可观察和部分被遮挡的不同大小物体，并推断这些物体的属性。我们的模型在合成场景和真实场景上均能可靠地分割物体。所发现的物体属性也可用于推理物理事件。
引用
@article{arxiv.2007.12348,
title = {Unsupervised Discovery of 3D Physical Objects from Video},
author = {Yilun Du and Kevin Smith and Tomer Ulman and Joshua Tenenbaum and Jiajun Wu},
journal= {arXiv preprint arXiv:2007.12348},
year = {2021}
}
备注
ICLR 2021; project webpage at http://yilundu.github.io/podnet