以人手作为探针的交互式物体理解
计算机视觉与模式识别
2022-04-11 v2 人工智能
机器学习
机器人学
摘要
交互式物体理解，即我们能对物体做什么以及如何做，是计算机视觉的长期目标。在本文中，我们通过观察自然场景下第一人称视频中的手来解决这个问题。我们证明，观察人手与什么交互以及如何交互，可以提供相关数据和必要的监督。关注手可以方便地定位并稳定待学习的活动物体，并揭示发生物体交互的位置。分析手可以表明我们能对物体做什么以及如何做。我们将这些基本原理应用于 EPIC-KITCHENS 数据集，纯粹通过观察第一人称视频中的手，成功学习了状态敏感特征和物体可供性（交互区域和可抓取区域）。
引用
@article{arxiv.2112.09120,
title = {Human Hands as Probes for Interactive Object Understanding},
author = {Mohit Goyal and Sahil Modi and Rishabh Goyal and Saurabh Gupta},
journal= {arXiv preprint arXiv:2112.09120},
year = {2022}
}
备注
To Appear at CVPR 2022. Project website at https://s-gupta.github.io/hands-as-probes/