FineBio：具有层次标注的生物实验细粒度视频数据集
计算机视觉与模式识别
2024-02-02 v1
摘要
在科学发展的过程中，对实验过程进行准确且可复现的记录至关重要。从视频中自动识别实验动作可以通过补充实验记录来帮助实验者。为了实现这一目标，我们提出了 FineBio，一个包含人们进行生物实验的全新细粒度视频数据集。该数据集包含 32 名参与者进行模拟生物实验的多视角视频，总时长为 14.5 小时。一个实验形成层次结构，其中一个协议由若干步骤组成，每个步骤进一步分解为一组原子操作。生物实验的独特之处在于，虽然它们要求严格遵守每个协议中描述的步骤，但原子操作的顺序是自由的。我们提供了关于协议、步骤、原子操作、物体位置及其操作状态的层次标注，为结构化活动理解和手-物交互识别提出了新挑战。为了发现生物实验中活动理解的挑战，我们引入了基线模型并在四个不同任务上给出了结果，包括 (i) 步骤分割，(ii) 原子操作检测，(iii) 物体检测，以及 (iv) 被操作/受影响物体检测。数据集和代码可在 https://github.com/aistairc/FineBio 获取。
引用
@article{arxiv.2402.00293,
title = {FineBio: A Fine-Grained Video Dataset of Biological Experiments with Hierarchical Annotation},
author = {Takuma Yagi and Misaki Ohashi and Yifei Huang and Ryosuke Furuta and Shungo Adachi and Toutai Mitsuyama and Yoichi Sato},
journal= {arXiv preprint arXiv:2402.00293},
year = {2024}
}