掩码与手稿：基于端到端掩码和叙事结构构建医学预训练模型
计算机视觉与模式识别
2024-07-24 v1
摘要
当代医学对比学习面临语义不一致和样本对形态学差异带来的挑战，导致语义位移分散且趋向收敛。由于多位作者撰写报告，文本报告的变异性使语义一致性复杂化。为解决这些问题，我们提出了两步方法。首先，将文本报告转换为标准化的三元组格式，奠定我们 novel 概念中“观察”和“判决”的基础。该方法将 {实体、位置、存在} 三元组细化为二进制问题，引导向明确的“判决”。我们还创新性地在视觉预训练中采用 Meijering 基于掩码，聚焦于医学图像局部语境中具有代表性的特征。通过将其与文本转换方法集成，我们的模型在多模态对比学习框架中推进了跨模态表征，为医学图像分析树立了新基准。
引用
@article{arxiv.2407.16264,
title = {Masks and Manuscripts: Advancing Medical Pre-training with End-to-End Masking and Narrative Structuring},
author = {Shreyank N Gowda and David A. Clifton},
journal= {arXiv preprint arXiv:2407.16264},
year = {2024}
}
备注
Accepted in MICCAI-24