CroSSL：通过隐空间掩码实现时间序列的跨模态自监督学习
机器学习
2024-02-20 v3
摘要
多模态时间序列上机器学习可用标注数据的有限性广泛制约了该领域的进展。自监督学习（SSL）是一种不依赖标注学习数据表示的有前景的方法。然而，现有SSL方法需要计算昂贵的负样本对，且通常针对单一模态设计，限制了其通用性。我们提出CroSSL（跨模态SSL），其提出两个新概念：对模态特定编码器产生的中间嵌入进行掩码，以及通过跨模态聚合器将其聚为可输入下游分类器的全局嵌入。CroSSL无需针对缺失输入进行先验数据预处理或针对对比学习进行负样本对采样，即可处理缺失模态并实现端到端跨模态学习。我们在广泛的数据上评估了该方法，包括加速度计或陀螺仪等运动传感器以及生物信号（心率、脑电图、肌电图、眼电图与皮电）以探究不同数据类型下掩码比例与掩码策略的影响，以及所学表示对缺失数据的鲁棒性。总体而言，CroSSL在使用极少标注数据的情况下优于以往的SSL与有监督基准，并揭示了隐空间掩码如何改善跨模态学习。我们的代码开源于https://github.com/dr-bell/CroSSL。
引用
@article{arxiv.2307.16847,
title = {CroSSL: Cross-modal Self-Supervised Learning for Time-series through Latent Masking},
author = {Shohreh Deldari and Dimitris Spathis and Mohammad Malekzadeh and Fahim Kawsar and Flora Salim and Akhil Mathur},
journal= {arXiv preprint arXiv:2307.16847},
year = {2024}
}
备注
Accepted in WSDM24. Short version presented in ML4MHD @ICML23