运动学与流畅性对基于 RF 传感器的 ASL 识别对抗合成数据生成的影响
信号处理
2022-01-04 v1
摘要
RF 传感器近来被提出作为手语处理技术的一种新模态。它们为非接触式，在黑暗中有效，并通过利用微多普勒效应直接测量手语运动学。首先，本工作对 RF 传感器测得的流利 ASL 使用者和听力模仿手语者的手语运动学特性进行了深入的对比考察。其次，由于利用深度学习的 ASL 识别技术需要大量训练数据，本工作考察了手语运动学和受试者流畅性对用于数据合成的对抗学习技术的影响。提出了两种合成训练数据生成方法：1) 对抗域适应以最小化模仿手语与流利手语数据之间的差异；2) 运动学约束生成对抗网络以精确合成 RF 手语签名。结果表明，模仿手语与流利手语之间的运动学差异极为显著，以至于在分类 100 个 ASL 手势时，直接在流利 RF 手语者数据上合成的数据训练（93% top-5 准确率）优于由模仿手语适应所得数据训练（88% top-5 准确率）。
引用
@article{arxiv.2201.00055,
title = {Effect of Kinematics and Fluency in Adversarial Synthetic Data Generation for ASL Recognition with RF Sensors},
author = {M. M. Rahman and E. Malaia and A. C. Gurbuz and D. J. Griffin and C. Crawfordand S. Z. Gurbuz},
journal= {arXiv preprint arXiv:2201.00055},
year = {2022}
}