ManiNeg：基于表现引导的多模态预训练乳腿钛化分类
图像与视频处理
2024-09-25 v1 计算机视觉与模式识别
摘要
乳腺癌是对人类健康的重大威胁。对比学习已成为从乳腿钛化图像中提取关键病灶特征的有效方法，为乳腺癌筛查与分析提供了强大工具。对比学习的一个关键方面涉及负样本采样，其中合适的硬负样本选择对于驱动表征保留病灶细节信息至关重要。在对比学习中，常常假设特征能够充分捕获语义内容，且每个小批量数据本身包含理想的硬负样本。然而，乳腺肿块的特征挑战了这些假设。为此，我们提出ManiNeg——一种新方法，利用表现作为代理人来挖掘硬负样本。表现指疾病的可观察症状或征兆，为选择硬负样本提供了知识驱动且稳健的依据。这一方法由于其对模型优化的不变性，便于高效采样。为支持ManiNeg及未来研究，我们开发了MVKL数据集，包含多视角乳腿钛化图像、对应的报告、精细标注的表现以及病理确认的良恶性结果。我们在良恶性分类任务上评估了ManiNeg。结果表明，ManiNeg不仅在单模态和多模态情境下提升了表征，还在跨数据集上表现出良好泛化。MVKL数据集与我们的算法代码已公开于https://github.com/wxwxwwxxx/ManiNeg。
引用
@article{arxiv.2409.15745,
title = {ManiNeg: Manifestation-guided Multimodal Pretraining for Mammography Classification},
author = {Xujun Li and Xin Wei and Jing Jiang and Danxiang Chen and Wei Zhang and Jinpeng Li},
journal= {arXiv preprint arXiv:2409.15745},
year = {2024}
}