Mixup 在基于拓扑持久性的可穿戴传感器数据知识蒸馏中的作用

可穿戴传感器数据的分析已在多个应用中取得了诸多成功。为了以足够的细节表示高采样率时间序列，人们考虑了使用拓扑数据分析（TDA），并发现 TDA 可以补充其他时间序列特征。然而，由于通过 TDA 提取拓扑特征耗时巨大且计算资源需求高，在各种应用中部署拓扑知识变得困难。为了解决这个问题，可以采用知识蒸馏（KD），这是一种促进模型压缩和迁移学习的技术，通过从较大网络迁移知识来生成一个较小的模型。通过在 KD 中利用多个教师模型，可以同时迁移时间序列特征和拓扑特征，最终蒸馏出一个仅使用时间序列数据的优秀学生模型。另一方面，mixup 作为一种鲁棒的数据增强技术，已被广泛用于提升模型在训练期间的性能。Mixup 和 KD 采用了相似的学习策略。在 KD 中，学生模型从教师模型生成的平滑分布中学习，而 mixup 则通过混合两个标签来创建平滑标签。因此，这种共同的平滑性充当了连接这两种方法的纽带。在本文中，我们利用多个教师模型，分析了 mixup 在结合时间序列和拓扑持久性的 KD 中的作用。我们对可穿戴传感器数据上的各种 KD 和 mixup 方法进行了全面分析。