PFML：无表示坍缩的时间序列自监督学习
机器学习
2025-04-09 v3 人工智能
摘要
自监督学习 (SSL) 是一种数据驱动的学习方法，利用数据内在结构来指导学习过程。与依赖外部标签的监督学习不同，SSL 利用数据的内在特征产生自己的监督信号。然而，SSL 方法的一个常见问题是表示坍缩，即模型输出恒定的、对输入不变的特征表示。这一问题阻碍了 SSL 方法应用于新数据模态的潜力应用，因为试图避免表示坍缩会浪费研究人员的时间和精力。这篇论文介绍了一种名为 Prediction of Functionals from Masked Latents (PFML) 的新型 SSL 算法，用于时间序列数据。PFML 通过预测给定一系列未遮蔽嵌入的遮蔽嵌入对应的输入信号的统计功能来工作，而不是直接预测被遮蔽的输入信号或其潜在表示。该算法旨在避免表示坍缩，使其能够直接应用于不同的时间序列数据领域，例如临床数据中新颖的传感器模态。我们通过三个不同数据模态中复杂的真实生活分类任务展示了 PFML 的有效性：来自多传感器惯性测量单元数据的婴儿姿势和运动分类、来自语音数据的情感识别、以及来自脑电图数据的睡眠阶段分类。结果表明，PFML 在概念上类似的 SSL 方法和基于对比学习的 SSL 方法方面表现优异。此外，PFML 在概念上更简单，且不受表示坍缩的影响，性能与当前最先进的 SSL 方法持平。
引用
@article{arxiv.2411.10087,
title = {PFML: Self-Supervised Learning of Time-Series Data Without Representation Collapse},
author = {Einari Vaaras and Manu Airaksinen and Okko Räsänen},
journal= {arXiv preprint arXiv:2411.10087},
year = {2025}
}
备注
Accepted for publication in IEEE Access