潜表示空间中的多模态传感器融合

本文引入一种多模态传感器融合的新方法。该技术依赖两阶段过程。第一阶段，由无标签训练数据构建多模态生成模型。第二阶段，该生成模型作为重构先验与传感器融合任务的搜索流形。该方法亦处理仅能通过子采样（即压缩感知）获取观测的情况。我们在一系列多模态融合实验（如多感官分类、去噪及从子采样观测中恢复）上展示了其有效性与优异性能。