HaSPeR: 手影木偶识别的图像数据集

手影戏，又称阴影术或影戏（ombromanie），是一种戏剧艺术和叙事形式，通过将手部阴影投射到平面上来创造活体生物的幻觉。熟练的表演者通过手部姿态、手指动作和灵巧的手势来创造这些剪影，使其 resembling 动物和物体的阴影。由于从业者的缺失和人们娱乐标准的巨大转变，这种艺术形式正处于灭绝的边缘。为了促进其保存并将其传播给更广泛的受众，我们引入了 HaSPeR，这是一个新颖的数据集，包含来自专业和业余手影表演者视频片段中提取的 15 个类别的 15,000 张手影木偶图像。我们对数据集进行了详细的统计分析，并采用了一系列预训练的图像分类模型来建立基线。我们的研究表明，跳跃连接的卷积模型在性能上显著优于基于注意力机制的 Transformer 架构。我们还发现，轻量级模型如 MobileNetV2，适合移动应用和嵌入式设备，性能也相对较好。我们推测此类低延迟架构可用于开发影戏教学工具，并创建了一个原型应用来探索这一设想。以表现最佳的模型 ResNet34 为焦点，我们进行了全面的特征空间、可解释性和错误分析，以深入了解其决策过程并探索架构改进。据我们所知，这是首个利用计算机视觉方法记录这一濒危艺术形式的数据集和研究工作，以供后代保存。我们的代码和数据公开可用，地址为 https://github.com/Starscream-11813/HaSPeR。