OAKINK2：复杂任务完成中的双手物体操作数据集
计算机视觉与模式识别
2024-03-29 v1
摘要
我们提出了 OAKINK2，一个用于复杂日常活动的双手物体操作任务数据集。为了将复杂任务构建为结构化表示，OAKINK2 引入了三个抽象层级来组织操作任务：可供性、原语任务和复杂任务。OAKINK2 的特点在于采用以物体为中心的视角来解码复杂任务，将其视为一系列物体可供性满足的过程。第一层可供性概述了场景中物体可以提供的功能；第二层原语任务描述了人类与物体交互以实现其可供性的最小交互单元；第三层复杂任务说明了原语任务如何组合和相互依赖。OAKINK2 数据集提供了多视角图像流以及人体、手部和各种交互物体的精确姿态注释。这一丰富的数据集支持交互重建和运动合成等应用。基于 OAKINK2 的三层抽象，我们探索了一个面向任务的复杂任务完成（CTC）框架。CTC 旨在生成一系列双手操作以实现任务目标。在 CTC 框架内，我们利用大型语言模型（LLM）将复杂任务目标分解为原语任务序列，并开发了一个运动满足模型，用于为每个原语任务生成双手运动。OAKINK2 数据集和模型可在 https://oakink.net/v2 获取。
引用
@article{arxiv.2403.19417,
title = {OAKINK2: A Dataset of Bimanual Hands-Object Manipulation in Complex Task Completion},
author = {Xinyu Zhan and Lixin Yang and Yifei Zhao and Kangrui Mao and Hanlin Xu and Zenan Lin and Kailin Li and Cewu Lu},
journal= {arXiv preprint arXiv:2403.19417},
year = {2024}
}
备注
To be appeared in CVPR 2024. 26 pages