无配对多模态混合数据的可辨识共享成分分析
机器学习
2024-10-02 v2 人工智能
机器学习
摘要
多模态学习的核心任务是整合来自多个特征空间（例如文本和音频）的信息，提供数据 modality-invariant 的关键表示。近期研究表明，经典工具如规范相关分析（CCA）在样本在每个模态中由共享成分和私有成分的线性混合生成时，能够以次要歧义的方式识别共享成分。这种可辨识性结果是在交叉模态样本根据其共享信息对齐/配对的条件下获得的。本 work 进一步研究了从跨模态线性混合中识别共享成分的可能性，假设跨模态样本未对齐。提出一种基于分布发散最小化的损失函数，在此框架下，派生了一套确保共享成分可辨识的充分条件。我们的条件基于交叉模态分布差异性表征和密度保持变换移除，这些条件比现有研究依赖于独立成分分析（ICA）的条件要宽松。也提供了更宽松的条件，通过添加受各种应用可用侧信息所驱动的合理结构约束来实现。对可辨识性的主张通过合成数据和真实数据进行了彻底验证。
引用
@article{arxiv.2409.19422,
title = {Identifiable Shared Component Analysis of Unpaired Multimodal Mixtures},
author = {Subash Timilsina and Sagar Shrestha and Xiao Fu},
journal= {arXiv preprint arXiv:2409.19422},
year = {2024}
}