基于专家三元组一致性评估的多模态慢性伤口嵌入
计算机视觉与模式识别
2026-04-03 v2
摘要
溃疡性皮肤病（RDEB）是一种罕见的遗传性皮肤疾病，临床医生从图像和临床文本中寻找相似病例时能够显著受益。然而，现有的基础模型无法可靠地捕获此疾病异质性和长尾特征，同时结构化地衡量与专家的一致性具有挑战性。为解决这些问题，我们提出了一种评估嵌入空间的框架，通过专家有序比较（三元组判断）来衡量一致性，这种方法快速收集且编码隐式的临床相似性知识。我们进一步引入TriDerm，一个多模态框架，通过整合伤口图像、边界掩码和专家报告来从小规模队列中学习可解释的伤口表征。在视觉方面，TriDerm采用伤口级别注意力池化和非对比学习表示学习来适应RDEB。在文本方面，我们使用包含比较查询的大语言模型提示，并通过软有序嵌入（SOE）恢复医学上有意义的表征。我们表明视觉和文本模态捕获了伤口表型的互补方面，两者融合后与专家的一致性达到73.5%，显著优于最佳现成单模态基础模型超过5.6个百分点。我们公开了专家标注工具、模型代码和代表性数据集样本。
引用
@article{arxiv.2603.29376,
title = {Assessing Multimodal Chronic Wound Embeddings with Expert Triplet Agreement},
author = {Fabian Kabus and Julia Hindel and Jelena Bratulić and Meropi Karakioulaki and Ayush Gupta and Cristina Has and Thomas Brox and Abhinav Valada and Harald Binder},
journal= {arXiv preprint arXiv:2603.29376},
year = {2026}
}