NurViD：用于护理操作活动理解的大型专家级视频数据库
计算机视觉与模式识别
2023-10-23 v1 人工智能
摘要
将深度学习应用于护理操作活动理解，有潜力大幅提升护患互动的质量与安全。利用该技术，我们可以促进培训与教育、改进质量控制，并实现操作合规监测。然而，该领域自动识别系统的开发目前受限于适当标注数据的匮乏。现有视频数据集存在若干局限：1）这些数据集规模较小，不足以支撑对护理活动的全面研究；2）它们主要关注单一操作，缺乏针对各类护理操作与动作步骤的专家级标注；3）它们缺乏时间局部化标注，无法在较长视频序列中有效定位目标动作。为缓解这些局限，我们提出 NurViD，一个带有专家级标注、用于护理操作活动理解的大型视频数据集。NurViD 包含超过 1.5k 个视频，总时长 144 小时，约为现有最大护理活动数据集的四倍。值得注意的是，它涵盖 51 种不同护理操作与 177 个动作步骤，相比主要聚焦于有限操作的现有数据集，覆盖更为全面。为评估当前深度学习方法在护理活动理解上的效能，我们在 NurViD 上建立三项基准：未剪辑视频上的操作识别、剪辑视频上的操作与动作识别，以及动作检测。我们的基准与代码将发布于 \url{https://github.com/minghu0830/NurViD-benchmark}。
引用
@article{arxiv.2310.13347,
title = {NurViD: A Large Expert-Level Video Database for Nursing Procedure Activity Understanding},
author = {Ming Hu and Lin Wang and Siyuan Yan and Don Ma and Qingli Ren and Peng Xia and Wei Feng and Peibo Duan and Lie Ju and Zongyuan Ge},
journal= {arXiv preprint arXiv:2310.13347},
year = {2023}
}
备注
Accepted by NeurIPS 2023 Datasets and Benchmarks Track