跨模态互动如何影响深度多模态融合用于混合类型时间序列的性能
机器学习
2026-02-04 v1 人工智能
摘要
混合类型时间序列 (MTTS) 是一种双模态数据类型，常见于许多领域，如医疗保健、金融、环境监测和社交媒体。它由定期采样的连续时间序列和不规则采样的类别事件序列组成。通过多模态融合整合两种模态是处理 MTTS 的有前景的方法。然而，如何有效地融合两种模态仍是一个开放问题。本文对几种深度多模态融合方法用于 MTTS 预测进行了全面评估。我们的比较包括三种融合类型（早期融合、中间融合和晚期融合）和五种融合方法（拼接、加权平均、加权平均带相关性、门控和特征共享）。我们在三个不同的数据集上评估这些融合方法，其中一个数据集是使用一种新框架生成的，该框架允许控制关键数据属性，如跨模态互动的强度和方向、模态不平衡程度以及每种模态的随机性程度，为测试融合方法提供更受控制的环境。我们的发现表明，不同融合方法的性能会受到跨模态互动方向和强度的显著影响。该研究揭示了，早期融合和中间融合方法分别在捕获细粒度和粗粒度的跨模态特征方面表现出色。这些发现凸显了跨模态互动在确定 MTTS 预测最有效融合策略方面的关键作用。
引用
@article{arxiv.2406.15098,
title = {How Intermodal Interaction Affects the Performance of Deep Multimodal Fusion for Mixed-Type Time Series},
author = {Simon Dietz and Thomas Altstidl and Dario Zanca and Björn Eskofier and An Nguyen},
journal= {arXiv preprint arXiv:2406.15098},
year = {2026}
}