多模态结构保持学习
机器学习
2024-10-31 v1
摘要
在实际应用中选择数据以构建机器学习模型时，可用性、获取成本和判别能力等因素是关键的考虑因素。不同的数据模态通常捕捉到潜在现象的不同方面，使得它们的效用具有互补性。另一方面，某些数据源包含对其价值至关重要的结构信息。因此，一种数据类型的效用有时可以通过匹配另一种数据的结构来增强。我们提出多模态结构保持学习（MSPL）作为一种学习数据表示的新方法，该方法利用一种数据模态提供的聚类结构来增强来自另一种模态的数据的效用。我们通过合成时间序列数据展示了MSPL在揭示潜在结构方面的有效性，并利用质谱数据从全基因组测序和抗菌药物耐药性数据中恢复聚类，以支持流行病学应用。结果表明，MSPL可以将外部结构注入学习到的特征中，并有助于利用不同数据模态之间产生的有益协同效应。
引用
@article{arxiv.2410.22520,
title = {Multimodal Structure Preservation Learning},
author = {Chang Liu and Jieshi Chen and Lee H. Harrison and Artur Dubrawski},
journal= {arXiv preprint arXiv:2410.22520},
year = {2024}
}