基于拓扑持久性引导的可穿戴传感器数据知识蒸馏

深度学习方法在将可穿戴传感器数据转换为可操作健康洞察方面取得了很多成功。常见应用领域是活动识别，其中深度学习方法仍存在对信号质量敏感、传感器特性变化以及主体间变异性等局限性。为缓解这些问题，建议使用由拓扑数据分析 (TDA) 获取的鲁棒特征作为潜在解决方案。然而，使用拓扑特征在深度学习中存在两个重大障碍：(1) 使用 TDA 提取拓扑特征的计算负担大，(2) 深度学习与 TDA 获取的信号表示不同，使融合困难。本文提出一种方法，通过两个教师网络实现拓扑方法在深度学习中集成优势，其中一个网络在原始时序数据上训练，另一个网络在 TDA 方法生成的持久图像上训练。蒸馏得到的学生模型仅在测试时使用原始时序数据。该方法解决了上述两个问题。多教师知识蒸馏利用互补信息，产生紧凑模型，具备强监督特征和集成更丰富表示。为吸收不同模态中理想信息，我们设计了新的约束，包括对特征相关映射施加正交性，以提高特征表达性，使学生模型更容易从教师网络学习。此外，我们在知识蒸馏中应用退火策略，以实现快速收敛和更好地适应不同特征。最后，一个鲁棒的学生模型被蒸馏出来，该模型仅使用时序数据作为输入，同时隐式保留了拓扑特征。