分层模态感知专家与动态路由医学图像检索架构
计算机视觉与模式识别
2026-03-18 v1
摘要
医学图像检索(MIR)是计算机辅助诊断的关键组成部分，但现有系统存在三个持久局限：统一特征编码无法 accounts for 解剖结构的不同临床重要性、基于粗糙分类标签的模糊相似度度量标准，以及仅关注全局图像相似性，无法满足临床对细粒度区域特定检索的需求。我们提出 HMAR(分层模态感知专家与动态路由)，一个建立在混合专家(MoE)架构上的自适应检索框架。HMAR 采用双专家机制：Expert0 提取全局特征用于整体相似性匹配，而 Expert1 学习位置不变的局部表示用于精确病灶区域检索。采用两阶段对比学习策略消除昂贵的边界框标注需求，滑动窗口匹配算法在推理时间启用密集局部比较。通过 Kolmogorov-Arnold Network (KAN) 层生成哈希码以实现高效的 Hamming 距离搜索。在 RadioImageNet-CT 数据集(16 种临床模式，29,903 张图片)上的实验表明，HMAR 在 64 位和 128 位哈希码下分别实现了0.711和0.724的平均精度(mAP)，分别比最先进的 ACIR 方法提高了0.7%和1.1%。
引用
@article{arxiv.2603.16679,
title = {HMAR: Hierarchical Modality-Aware Expert and Dynamic Routing Medical Image Retrieval Architecture},
author = {Aojie Yuan},
journal= {arXiv preprint arXiv:2603.16679},
year = {2026}
}
备注
8 pages, 7 figures, 1 table