利用 CLIP 在 CT 图像中实现鲁棒的 COVID-19 检测
图像与视频处理
2024-09-10 v3 计算机视觉与模式识别
摘要
在医学成像领域，尤其是 COVID-19 检测方面，深度学习模型面临着重大挑战，例如对大量计算资源的需求、缺乏标注良好的数据集以及大量未标记数据。在这项工作中，我们引入了首个旨在克服这些障碍的轻量级检测器，利用冻结的 CLIP 图像编码器和可训练的多层感知机（MLP）。通过引入条件风险价值（CVaR）以增强鲁棒性，并采用损失景观平坦化策略以提升泛化能力，我们的模型专为在 COVID-19 检测中实现高效能而定制。此外，我们集成了师生框架以利用大量未标记数据，使我们的模型在数据固有局限的情况下仍能实现卓越性能。在 COV19-CT-DB 数据集上的实验结果证明了我们方法的有效性，在监督学习中 `macro' F1 分数上最高超过基线 10.6%。代码可在 https://github.com/Purdue-M2/COVID-19_Detection_M2_PURDUE 获取。
引用
@article{arxiv.2403.08947,
title = {Robust COVID-19 Detection in CT Images with CLIP},
author = {Li Lin and Yamini Sri Krubha and Zhenhuan Yang and Cheng Ren and Thuc Duy Le and Irene Amerini and Xin Wang and Shu Hu},
journal= {arXiv preprint arXiv:2403.08947},
year = {2024}
}