面向日常活动理解的层次化和多模态数据
计算机视觉与模式识别
2026-03-30 v4 人工智能
摘要
Daily Activity Recordings for Artificial Intelligence（DARai，发音为"Dahr-ree"）是一个多模态、层次化注释的数据集，旨在理解现实环境中的人类活动。DARai包含50名参与者在10个不同环境中持续的脚本化和非脚本化录制，总计超过200小时数据，来自20个传感器，包括多个相机视角、深度和雷达传感器、可穿戴惯性测量单元（IMU）、电肌电图（EMG）、鞋底压力传感器、生物监测传感器和凝视跟踪器。为捕捉人类活动的复杂性，DARai在三个层次上进行注释：（1）独立于任务的高层次活动（L1），（2）在活动之间共享的低层次动作（L2），以及（3）详细描述动作执行步骤的细粒度程序（L3）。数据集注释和录制设计为22.7%的L2动作在L1活动中共享，14.2%的L3程序在L2动作中共享。DARai的重叠和非脚本化特性允许数据集中的反事实活动。使用各种机器学习模型进行实验，展示了DARai在揭示人类中心应用中的重要挑战方面的值。 Specifically，我们对识别、时间局部化和未来动作预测在所有层次级的注释进行单模态和多模态传感器融合实验。为突出显示单个传感器的局限性，我们还进行了由DARai的多传感器和反事实活动设计启发的领域变体实验。代码、文档和数据集均可在专门的DARai网站上获取：https://alregib.ece.gatech.edu/software-and-datasets/darai-daily-activity-recordings-for-artificial-intelligence-and-machine-learning/。
引用
@article{arxiv.2504.17696,
title = {Hierarchical and Multimodal Data for Daily Activity Understanding},
author = {Ghazal Kaviani and Yavuz Yarici and Seulgi Kim and Mohit Prabhushankar and Ghassan AlRegib and Mashhour Solh and Ameya Patil},
journal= {arXiv preprint arXiv:2504.17696},
year = {2026}
}
备注
Accepted for publication in DMLR