使用 GANs 探索合成数据对人类手势识别任务的影响

在使用物联网设备进行人类活动识别（HAR）的不断演进的领域中，越来越多地利用深度生成模型（DGMs）来解决数据稀缺问题、提升数据质量并改善分类指标分数。其中，生成对抗网络（GAN）因能够以高保真度模拟真实场景而成为强大的生成合成数据工具。然而，人类手势识别（HGR），作为 HAR 的子领域，尤其是在医疗保健领域使用时间序列数据（如过敏性手势）仍高度未探索。本文检验并评估了两种 GAN 在生成合成手势运动数据方面的性能，这些数据构成了开源基准数据集的一部分。该数据与疾病识别领域的医疗保健有关，具体指过敏性鼻炎。我们还关注这些 AI 模型在保真度、多样性和隐私方面的表现。此外，我们考察了合成数据能否替代真实数据进行训练，以及在过敏性鼻炎手势上的模型泛化能力。本研究中，这些手势涉及来自智能可穿戴设备的 6 轴加速度计和陀螺仪数据，作为多变量时间序列实例。鉴于本研究是首次探索使用生成对抗网络（GANs）为来自可穿戴 IoT 设备的过敏性鼻炎运动手势生成合成数据的可行性，并测试其对手势识别系统泛化能力的影响。值得注意的是，尽管本方法应用于特定类别的手势，但其设计可推广至 HGR 领域的其他运动数据。