ADL4D: 面向上下文丰富的4D日常生活活动数据集
计算机视觉与模式识别
2024-03-03 v1
摘要
手-物交互（HOI）受空间和时间上下文的影响，例如周围物体、先前动作和未来意图（例如，抓取和交接动作根据物体接近度和轨迹阻碍而有很大变化）。然而，现有的 4D HOI（随时间变化的 3D HOI）数据集仅限于一个主体与一个物体交互。这限制了基于学习的 HOI 方法在这些数据集上训练的泛化能力。我们介绍 ADL4D，一个包含最多两个主体与不同物体集交互执行日常生活活动（ADL）（如早餐或午餐准备活动）的数据集。随着时间的推移，在多个物体之间转换以完成特定任务引入了现有数据集所缺乏的独特上下文。我们的数据集包含 75 个序列，总计 110 万 RGB-D 帧、手和物体姿态以及每只手的细粒度动作标注。我们开发了一个用于多视图多手 3D 姿态标注的自动系统，能够随时间跟踪手部姿态。我们将其集成并针对公开数据集进行测试。最后，我们在手部网格恢复（HMR）和手部动作分割（HAS）任务上评估了我们的数据集。
引用
@article{arxiv.2402.17758,
title = {ADL4D: Towards A Contextually Rich Dataset for 4D Activities of Daily Living},
author = {Marsil Zakour and Partha Pratim Nath and Ludwig Lohmer and Emre Faik Gökçe and Martin Piccolrovazzi and Constantin Patsch and Yuankai Wu and Rahul Chaudhari and Eckehard Steinbach},
journal= {arXiv preprint arXiv:2402.17758},
year = {2024}
}