MoMA：基于多头注意力知识蒸馏的动量对比学习用于组织病理学图像分析
图像与视频处理
2024-12-12 v2 计算机视觉与模式识别
摘要
毫无疑问，先进的人工智能模型与高质量数据是开发计算病理学工具成功的关键。尽管病理数据总量持续增长，但由于患者数据的隐私与伦理等问题，针对特定任务时缺乏优质数据仍是普遍难题。本工作中，我们提出利用知识蒸馏（即使用现有模型学习新的目标模型）来克服计算病理学中的此类问题。具体而言，我们采用师生框架，在无法直接访问源数据的情况下从预训练教师模型学习目标模型，并通过带多头注意力机制的动量对比学习蒸馏相关知识，从而提供一致且上下文感知的特征表示。这使目标模型能够吸收教师模型的信息性表示，同时无缝适应目标数据的独特细微差异。所提方法在多种场景下被严格评估，其中教师模型在与目标模型相同、相关或不相关的分类任务上训练。实验结果证明了我们的方法在跨域与跨任务知识迁移中的准确性与鲁棒性，优于其他相关方法。此外，结果为计算病理学中不同任务与场景的学习策略提供了指导。代码见：\url{https://github.com/trinhvg/MoMA}。
引用
@article{arxiv.2308.16561,
title = {MoMA: Momentum Contrastive Learning with Multi-head Attention-based Knowledge Distillation for Histopathology Image Analysis},
author = {Trinh Thi Le Vuong and Jin Tae Kwak},
journal= {arXiv preprint arXiv:2308.16561},
year = {2024}
}