基于时空图卷积网络迁移学习的视障人士剧场辅助系统
计算机视觉与模式识别
2023-06-29 v1
摘要
本研究旨在识别舞台上执行的人体动作以辅助视障及盲人。为此，我们创建了一个剧场人体动作识别系统，以深度图像捕获的骨架数据作为输入。我们收集了剧场环境下人体动作的新样本，随后使用三种用于基于骨架的人体动作识别的预训练时空图卷积网络测试迁移学习技术：时空图卷积网络（spatio-temporal graph convolution network）、双流自适应图卷积网络（two-stream adaptive graph convolution network）和多尺度解耦统一图卷积网络（multi-scale disentangled unified graph convolution network）。我们选取 NTU-RGBD 人体动作基准作为源域，并使用我们收集的数据集作为目标域。我们分析了预训练模型的迁移能力，并提出了两种配置以将迁移学习技术应用于源域与目标域之间的差异性并进行适配。迁移学习的使用有助于提升剧场场景下人体动作系统的性能。结果表明，时空图卷积网络被正向迁移，且相比无迁移学习的基线性能有所提升。
引用
@article{arxiv.2306.16357,
title = {Theater Aid System for the Visually Impaired Through Transfer Learning of Spatio-Temporal Graph Convolution Networks},
author = {Leyla Benhamida and Slimane Larabi},
journal= {arXiv preprint arXiv:2306.16357},
year = {2023}
}
备注
28 pages, 18 figures, research paper not published