EgoMAGIC- 一个用于训练感知算法的以自我为中心的医学视频领域数据集
计算机视觉与模式识别
2026-04-27 v1 人工智能
机器学习
摘要
本文介绍了EgoMAGIC (Medical Assistance, Guidance, Instruction, and Correction)，一个作为DARPA Perceptually-enabled Task Guidance (PTG) 项目的一部分收集的以自我为中心的医学活动数据集。该数据集包含3355个医学任务的视频，每个任务至少有50个标记视频。PTG项目的主要目标是开发集成到增强现实头盔中以帮助用户执行复杂任务的虚拟助手。为鼓励使用该数据集进行探索和研究，随同公开发布了医学训练数据，并推出了聚焦于八个医学任务的行动检测挑战。大多数视频使用带集成音频的头戴式立体相机记录。从该数据集中，我们使用195万个标签训练了40个YOLO模型，用于检测124个医学对象，为开发人员在医疗AI应用方面提供了稳健的起点。除了介绍数据集外，本文还在三个模型上对选定的八个医学任务执行行动检测，最佳方法实现的平均mAP为0.526。虽然本文主要作为基准解决行动检测问题，但EgoMAGIC数据集同样适用于行动识别、目标识别和检测、错误检测以及其他具有挑战性的计算机视觉任务。该数据集可通过 zenodo.org (DOI: 10.5281/zenodo.19239154) 获得。
引用
@article{arxiv.2604.22036,
title = {EgoMAGIC- An Egocentric Video Field Medicine Dataset for Training Perception Algorithms},
author = {Brian VanVoorst and Nicholas Walczak and Christopher Gilleo and Charles Meissner and Fabio Felix and Iran Roman and Bea Steers and Claudio Silva and Yuhan Shen and Zijia Lu and Shih-Po Lee and Ehsan Elhamifar},
journal= {arXiv preprint arXiv:2604.22036},
year = {2026}
}
备注
9 pages, 4 figures, 3 tables