具有因子分析潜空间的多模态分层变分自编码器

目的：随着现实世界数据库的指数增长，处理异构与混合数据类型已变得愈发关键。尽管深度生成模型试图将多样数据视图合并至公共潜空间，它们常牺牲可解释性、灵活性与模块化。本研究提出一种新方法，通过结合带因子分析潜空间（FA-VAE）的变分自编码器（VAEs）来解决这些局限。方法：所提 FA-VAE 方法采用多个 VAE 在连续潜空间中为每个异构数据视图学习私有表示。视图间通过由线性投影矩阵生成的低维潜空间共享信息。这种模块化设计在私有与共享潜空间间创建了分层依赖，允许灵活添加新视图及预训练模型的条件化。结果：FA-VAE 方法促进了不同领域数据的交叉生成，并实现了生成模型间的迁移学习。这允许在保留各数据视图独特特征的同时有效整合跨视图信息。结论：通过克服现有方法的局限，FA-VAE 为管理异构数据类型提供了更具可解释性、灵活性与模块化的方案。它提供了通向更高效且可扩展的数据处理策略的路径，增强了跨域数据合成与模型可迁移性的潜力。