基于相似性的传感器融合的多尺度几何摘要

在这项工作中，我们利用来自每个传感器的融合自相似性信息的基于小波的摘要来解决异构传感器数据的融合问题。我们开发的技术非常通用，不需要领域特定知识或物理模型，并且不需要训练。尽管如此，它在区分由多种模态感知的时间有序行为序列类别这一通用任务上表现得出奇地好。作为我们在音频到视频场景下能力的展示，我们聚焦于语音序列的区分。来自两个或更多模态的数据首先使用对应于这些数据源各自特征空间中时间有序点云的自相似矩阵（SSMs）来表示；我们注意到这些特征空间可以具有完全不同的尺度和维度。然后使用一种称为相似度网络融合（SNF）的技术从模态特定的SSMs中导出融合相似度模板。我们研究了将SNF同时作为上游（特征级）和下游（排序级）融合技术的流水线。随后使用该模板的多尺度几何特征，通过一种称为散射变换的近期开发技术提取，并利用这些特征来区分语音序列。该方法优于直接在原始数据上运行的无监督技术，也优于对从不同模态单独导出的SSMs进行操作的烟囱式方法。随着模拟峰值信噪比的降低，该方法的优势变得更加明显。