用于物体功能性的预测与生成神经网络
计算机视觉与模式识别
2020-06-30 v1 图形学
机器学习
摘要
人类即使在没有周围环境的条件下也能预测物体的功能性，因为其知识与经验使他们能够“幻觉”出涉及该物体的交互或使用场景。我们开发预测与生成深度卷积神经网络来复现这一能力。具体而言，我们的工作聚焦于以人-物或物-物交互为特征的人造3D物体的功能性。我们的网络在一个称为交互情境的场景上下文数据库上训练，每个上下文由一个中心物体和一个或多个周围物体组成，代表物体功能性。给定一个孤立的3D物体，我们的功能相似性网络(fSIM-NET)——三元组网络的一种变体——经训练通过推断揭示功能性的交互情境来预测该物体的功能性。fSIM-NET由一个生成网络(iGEN-NET)和一个分割网络(iSEG-NET)补充。iGEN-NET接收带功能性标签的单个体素化3D物体，并合成体素化环绕，即直观展示相应功能性的交互情境。iSEG-NET进一步根据交互类型将交互物体分离为不同组。
引用
@article{arxiv.2006.15520,
title = {Predictive and Generative Neural Networks for Object Functionality},
author = {Ruizhen Hu and Zihao Yan and Jingwen Zhang and Oliver van Kaick and Ariel Shamir and Hao Zhang and Hui Huang},
journal= {arXiv preprint arXiv:2006.15520},
year = {2020}
}
备注
Accepted to SIGGRAPH 2018, project page at https://vcc.tech/research/2018/ICON4