InfoMAE：面向多模态时间序列感知信号的高效跨模态对齐
人工智能
2025-04-15 v1 信息论
机器学习
多媒体
math.IT
摘要
标准的多模态自监督学习(SSL)算法将跨模态同步视为预训练中的隐式监督标签，因此对多模态样本的规模和质量提出了高要求。这些限制显著削弱了物联网应用中感知智能的性能，因为时间序列信号的异构性和不可解释性导致大量单模态数据但稀缺高质量的多模态配对。本文提出 InfoMAE，一种在 SSL 设置下解决多模态配对效率挑战的跨模态对齐框架，通过促进预训练单模态表示之间的高效跨模态对齐来实现。InfoMAE 通过一种新颖的信息论方法实现 \textit{高效跨模态对齐}，在 \textit{有限数据配对}的情况下同时解决分布层面和实例层面的对齐问题。对两种真实世界的物联网应用进行了广泛实验，以评估 InfoMAE 的配对效率在将预训练的单模态模型整合为 cohesive 联合多模态模型方面的效果。InfoMAE 通过超过 60% 的提升显著改善了下游多模态任务性能，同时实现了显著提升的多模态配对效率。它还使单模态任务准确率平均提高 22%。
引用
@article{arxiv.2504.09707,
title = {InfoMAE: Pair-Efficient Cross-Modal Alignment for Multimodal Time-Series Sensing Signals},
author = {Tomoyoshi Kimura and Xinlin Li and Osama Hanna and Yatong Chen and Yizhuo Chen and Denizhan Kara and Tianshi Wang and Jinyang Li and Xiaomin Ouyang and Shengzhong Liu and Mani Srivastava and Suhas Diggavi and Tarek Abdelzaher},
journal= {arXiv preprint arXiv:2504.09707},
year = {2025}
}