3D-PhysNet：学习非刚性物体形变的直觉物理
计算机视觉与模式识别
2018-10-25 v2
摘要
与环境交互并理解环境的能力是从机器人技术到增强现实等广泛应用的基本前提。特别是，实时预测可变形物体在受力作用下的反应是一项重大挑战。现实世界中遇到的物体形状信息常受遮挡、噪声和缺失区域的影响，这进一步加剧了该问题，例如操纵物体的机器人只能观察到整个实体的部分视图。在本工作中，我们提出一个框架 3D-PhysNet，它能够利用直觉物理建模预测三维实体在施加力作用下的形变。具体而言，我们提出一种编码材料物理属性与施加力的新方法，从而实现对材料的一般化。关键在于将深度变分自编码器与对抗训练相结合，并以施加力和材料属性为条件。我们进一步提出一种级联架构，该架构接收物体的单个 2.5D 深度视图并预测其形变。训练数据由物理模拟器提供。该网络速度足够快，可用于基于部分视图的实时应用。实验结果表明了所提架构的可行性与泛化能力。
引用
@article{arxiv.1805.00328,
title = {3D-PhysNet: Learning the Intuitive Physics of Non-Rigid Object Deformations},
author = {Zhihua Wang and Stefano Rosa and Bo Yang and Sen Wang and Niki Trigoni and Andrew Markham},
journal= {arXiv preprint arXiv:1805.00328},
year = {2018}
}
备注
in IJCAI 2018