从正交到依赖：面向多模态时间序列感知信号的无约束表示学习
机器学习
2024-05-28 v1
摘要
现有方法用于多模态时间序列表示学习旨在解耦模态共享和模态特定的隐变量。虽然在下游任务上取得了显著的性能，但它们通常假设隐空间是正交的。然而，模态特定和模态共享的隐变量可能在现实场景中存在依赖关系。因此，我们提出了一种通用的生成过程，其中模态共享和模态特定的隐变量是相互依赖的，并进一步开发了基于此的 **M**ulti-mod**A**l **TE**mporal Disentanglement (**MATE**) 模型。具体而言，我们的 **MATE** 模型建立在时序变分推断架构之上，采用用于解耦隐变量的模态共享和模态特定先验网络。进一步地，我们建立了辨识结果，表明提取的表示是无约束的。具体而言，我们首先通过利用多模态数据的配对，实现了模态共享和模态特定隐变量的子空间辨识。随后，通过运用历史隐变量的充分变化，建立了模态特定隐变量的分量级辨识。广泛的在多模态传感器、人体活动识别和医疗数据集上的实验研究表明，在不同下游任务上均实现了一般性的性能提升，凸显了该方法在现实场景中的有效性。
引用
@article{arxiv.2405.16083,
title = {From Orthogonality to Dependency: Learning Disentangled Representation for Multi-Modal Time-Series Sensing Signals},
author = {Ruichu Cai and Zhifang Jiang and Zijian Li and Weilin Chen and Xuexin Chen and Zhifeng Hao and Yifan Shen and Guangyi Chen and Kun Zhang},
journal= {arXiv preprint arXiv:2405.16083},
year = {2024}
}