知识增强：重新思考医学对比视觉-语言预训练
计算机视觉与模式识别
2023-07-18 v2 机器学习
摘要
基于预训练技术的 foundation 模型已显著推动人工智能从理论走向实际应用。这些模型促进了计算机辅助诊断广泛使用的可行性。医学对比视觉-语言预训练无需人工标注，是利用诊断报告中的描述信息引导表征学习的有效途径。然而，预训练效果受限于医学领域中大规模的语义重叠与偏移问题。为解决这些问题，我们提出知识增强对比视觉-语言预训练框架（KoBo），将临床知识整合进视觉-语言语义一致性的学习中。该框架采用无偏、开放集的样本级知识表示来衡量负样本噪声，并补充视觉-语言互信息与临床知识间的对应关系。大量实验验证了我们的框架在分类、分割、检索和语义相关性等八项任务上的效果，在零样本或少样本设定下取得了可比或更好的性能。我们的代码开源于 https://github.com/ChenXiaoFei-CS/KoBo。
引用
@article{arxiv.2307.07246,
title = {Knowledge Boosting: Rethinking Medical Contrastive Vision-Language Pre-Training},
author = {Xiaofei Chen and Yuting He and Cheng Xue and Rongjun Ge and Shuo Li and Guanyu Yang},
journal= {arXiv preprint arXiv:2307.07246},
year = {2023}
}
备注
accepted by MICCAI 2023