面向人体活动识别的对比自监督学习中的时序特征对齐

自动化人体活动识别长期以来是以人为中心和普适计算领域中备受关注的问题。近年来，大量基于深度神经网络的监督学习算法被提出，利用多种模态解决该问题。尽管每种模态都有其局限性，但存在一个共同挑战：监督学习需要大量标注数据，而这在实践中难以收集。本文中，我们受益于自监督学习范式（SSL），其通常用于从无标签数据中学习深度特征表示。此外，我们改进了广泛应用于各类应用的对比自监督框架SimCLR，引入了一种针对人体活动识别的时序特征对齐流程。具体而言，我们提出在潜空间中集成动态时间规整（DTW）算法，以迫使特征在时序维度上对齐。我们在惯性模态的单模态场景以及使用惯性和骨架数据的多模态设置下进行了大量实验。根据所得结果，与近期SSL基线相比，所提方法在学习鲁棒特征表示方面具有很大潜力，并在半监督学习中明显优于监督模型。单模态情况的代码可通过以下链接获取：https://github.com/bulatkh/csshar_tfa。