数据增强策略在可穿戴传感器数据知识蒸馏中的作用

深度神经网络由数千乃至数百万参数参数化，并在许多分类问题中取得了巨大成功。然而，庞大的参数数量使得难以将这些模型集成到智能手机和可穿戴设备等边缘设备中。为解决此问题，知识蒸馏（KD）已被广泛采用，其利用预训练的高容量网络来训练一个远小的、适于边缘设备的网络。在本文中，我们首次研究了 KD 用于可穿戴设备时间序列数据的适用性与挑战。KD 的成功应用需要在训练时具体选择数据增强方法。然而，目前尚不清楚在 KD 中是否存在选择增强方法的一致策略。在本文中，我们报告了一项详细研究的结果，该研究在基于 KD 的人体活动分析中比较和对比了各种常见选择以及一些混合数据增强策略。该领域的研究常常受限，因为公共领域来自可穿戴设备的综合数据库不多。我们的研究考虑了从小规模公开可用数据库到一项关于人体活动与久坐行为的大规模干预性研究衍生数据库。我们发现，KD 中数据增强技术的选择对最终性能有不同程度的影响，并且最优网络选择以及数据增强策略都特定于手头的数据集。不过，我们也总结了一组通用建议，可在不同数据库上提供强劲的基线性能。