人类石器制作动作语法（HSTAG）：面向细粒度运动行为识别的挑战性基准
计算机视觉与模式识别
2024-10-14 v1
摘要
过去十年，行动识别领域涌现出大量新算法和数据集。然而，大多数公开基准数据集都是围绕日常生活活动构建的，且在注释粒度上相对粗糙，这些数据集在特定于领域的数据集方面缺乏多样性，尤其是对于鲜见的领域。本文介绍了Human Stone Toolmaking Action Grammar（HSTAG），一个仔细标注的视频数据集，记录了前所未有的石器制作行为，可用于探索先进人工智能技术在理解两只手持物体之间复杂相互作用的应用。HSTAG包含18,739个视频片段，记录了4.5小时专家石器制作活动。其独特特征包括（i）简短的动作持续时间和频繁的转换，反映了许多运动行为中快速变化的本质；（ii）多个视角和工具切换，增加了类内变异性；（iii）不平衡的类别分布和不同动作序列之间的高度相似性，增加了捕捉每个动作不同模式的难度。若干主流行动识别模型用于进行实验分析，展示了HSTAG的挑战性和独特性。
引用
@article{arxiv.2410.08410,
title = {Human Stone Toolmaking Action Grammar (HSTAG): A Challenging Benchmark for Fine-grained Motor Behavior Recognition},
author = {Cheng Liu and Xuyang Yan and Zekun Zhang and Cheng Ding and Tianhao Zhao and Shaya Jannati and Cynthia Martinez and Dietrich Stout},
journal= {arXiv preprint arXiv:2410.08410},
year = {2024}
}
备注
8 pages, 4 figures, accepted by the 11th IEEE International Conference on Data Science and Advanced Analytics (DSAA)