MoCA：面向数字健康测量的多模态交叉掩码自编码器
机器学习
2025-09-22 v3 机器学习
应用统计
摘要
可穿戴设备实现了连续的多模态生理和行为监测，然而这些数据流的分析面临着根本性挑战，包括缺乏金标准标签和不完整的传感器数据。虽然自监督学习方法在解决这些问题方面展现了潜力，但现有的多模态扩展仍有空间更好地利用同步记录的可穿戴传感器数据中固有的丰富时间和跨模态相关性。我们提出了多模态交叉掩码自编码器，这是一个将 Transformer 架构与掩码自编码器（MAE）方法相结合的自监督学习框架，使用一种有原则的跨模态掩码方案，明确利用传感器模态之间的相关性结构。MoCA 在多个基准数据集上的重建和下游分类任务中均展现出显著的性能提升。我们进一步通过在再生核希尔伯特空间框架内建立多模态 MAE 损失与核化典型相关分析之间的基本联系，提供了理论保证，为相关性感知的掩码策略设计提供了有原则的指导。我们的方法为利用无标签多模态可穿戴数据并处理缺失模态提供了一种新颖的解决方案，在数字健康领域具有广泛的应用。
引用
@article{arxiv.2506.02260,
title = {MoCA: Multi-modal Cross-masked Autoencoder for Digital Health Measurements},
author = {Howon Ryu and Yuliang Chen and Yacun Wang and Andrea Z. LaCroix and Chongzhi Di and Loki Natarajan and Yu Wang and Jingjing Zou},
journal= {arXiv preprint arXiv:2506.02260},
year = {2025}
}