OakInk：用于理解手-物交互的大规模知识库
计算机视觉与模式识别
2022-03-30 v1
摘要
学习人类如何操纵物体需要机器从两个角度获取知识：一是理解物体可供性，二是基于可供性学习人类的交互。尽管这两个知识库至关重要，我们发现当前数据库缺乏对它们的全面认知。在这项工作中，我们提出了一个多模态且富含标注的知识库 OakInk，用于手-物交互的视觉与认知理解。我们首先收集 1,800 个常见家用物体并标注其可供性，以构建第一个知识库：Oak。给定可供性，我们记录人类与 Oak 中 100 个选定物体的丰富交互。最后，我们通过一种新颖的方法：Tink，将这 100 个记录物体的交互迁移到其虚拟对应物上。记录的和迁移的手-物交互构成了第二个知识库：Ink。最终，OakInk 包含 50,000 条不同的可供性感知且意图导向的手-物交互。我们在姿态估计和抓取生成任务上对 OakInk 进行了基准测试。此外，我们提出了 OakInk 的两个实际应用：基于意图的交互生成和递手生成。我们的数据集和源代码公开于 https://github.com/lixiny/OakInk。
引用
@article{arxiv.2203.15709,
title = {OakInk: A Large-scale Knowledge Repository for Understanding Hand-Object Interaction},
author = {Lixin Yang and Kailin Li and Xinyu Zhan and Fei Wu and Anran Xu and Liu Liu and Cewu Lu},
journal= {arXiv preprint arXiv:2203.15709},
year = {2022}
}
备注
Accepted by CVPR 2022