在互联网规模下理解处于接触状态的人类双手
计算机视觉与模式识别
2020-06-12 v1
摘要
双手是人类操控世界的核心手段，若能可靠地从人类用手操作物体的互联网视频中提取手部状态信息，则有潜力为可从 PB 级视频数据中学习的系统铺平道路。本文通过推断一种丰富的交互中手部表征方法向此目标迈进，该表征包含：手部位置、左右手、接触状态，以及围绕接触物体的边界框。为支持此项工作，我们收集了一个大规模的双手与物体接触数据集，包含 131 天的 footage 以及一个 10 万帧标注的双手接触视频帧数据集。在该数据集上学习的模型可作为视频中手部接触理解的基础。我们既对其本身进行了定量评估，也在预测和从人类手部三维网格中学习这一应用服务中对其进行了定量评估。
引用
@article{arxiv.2006.06669,
title = {Understanding Human Hands in Contact at Internet Scale},
author = {Dandan Shan and Jiaqi Geng and Michelle Shu and David F. Fouhey},
journal= {arXiv preprint arXiv:2006.06669},
year = {2020}
}
备注
To appear at CVPR 2020 (Oral). Project and dataset webpage: http://fouheylab.eecs.umich.edu/~dandans/projects/100DOH/