面向跨模态检索的跨模态流形学习
计算机视觉与模式识别
2016-12-20 v1
摘要
本文提出一种新的可扩展算法，用于在学习到的流形空间中进行保持相似性的跨模态检索。与在保持全局和局部几何结构之间折衷的现有方法不同，所提出的技术在流形对齐过程中同时尊重两者。全局拓扑通过利用部分对应实例恢复联合流形空间中的底层映射函数得以保持。然后，分别使用扰动最小生成树（pMST）和最大化相似跨模态实例间的亲和度来计算模态间和模态内亲和矩阵，以强化原始数据骨架。在两个多模态图像数据集（冠状动脉粥样硬化组织学和脑MRI）上，针对分类和回归两种应用评估了所提算法的性能。我们详尽的验证和结果证明了我们的技术相对于对比方法的优越性及其在改进计算机辅助诊断系统方面的可行性，在这些系统中，疾病特异性的互补信息应跨模态聚合和解释以形成最终决策。
引用
@article{arxiv.1612.06098,
title = {Cross-Modal Manifold Learning for Cross-modal Retrieval},
author = {Sailesh Conjeti and Anees Kazi and Nassir Navab and Amin Katouzian},
journal= {arXiv preprint arXiv:1612.06098},
year = {2016}
}