FOCAL：用于因子化正交潜空间中多模态时间序列传感信号的对比学习
人工智能
2023-11-01 v1 机器学习
多媒体
摘要
本文提出一种新颖的对比学习框架，称为 FOCAL，用于通过自监督训练从多模态时间序列传感信号中提取全面特征。现有的多模态对比框架大多依赖感官模态间的共享信息，但未显式考虑可能对理解底层传感物理至关重要的独占模态信息。此外，面向时间序列的对比框架未能恰当处理时间信息的局部性。FOCAL 通过以下贡献解决这些挑战：首先，给定多模态时间序列，它将每种模态编码为因子化潜空间，该空间由彼此正交的共享特征与私有特征组成。共享空间通过模态匹配目标强调跨感官模态一致的特征模式。相反，私有空间通过变换不变目标提取模态独占信息。其次，我们提出一种针对模态特征的时间结构约束，使得时间相邻样本间的平均距离不大于时间疏远样本间的平均距离。我们在四个多模态传感数据集上以两种骨干编码器和两种分类器进行了广泛评估，以证明 FOCAL 的优越性。在不同可用标签比例下，它在下游任务中始终以明显优势优于最先进的基线。代码与自采集数据集见 https://github.com/tomoyoshki/focal。
引用
@article{arxiv.2310.20071,
title = {FOCAL: Contrastive Learning for Multimodal Time-Series Sensing Signals in Factorized Orthogonal Latent Space},
author = {Shengzhong Liu and Tomoyoshi Kimura and Dongxin Liu and Ruijie Wang and Jinyang Li and Suhas Diggavi and Mani Srivastava and Tarek Abdelzaher},
journal= {arXiv preprint arXiv:2310.20071},
year = {2023}
}
备注
Code available at: [github](https://github.com/tomoyoshki/focal)