在使用大型基础模型进行诊断时，数据集质量仍是问题吗？
图像与视频处理
2024-05-22 v1 计算机视觉与模式识别
机器学习
摘要
预训练大型基础模型（LFM）的最新进展在自然语言处理和计算机视觉等各个领域取得了重大突破。这些模型在医学诊断任务领域尤为具有影响力。利用大量无标签数据，使用 Vision Transformer (VIT) 和自监督学习框架开发了一个用于眼底图像的 LFM。该 LFM 在多个数据集上的眼底疾病诊断中展现出良好的性能。另一方面，深度学习模型长期以来一直受到数据集质量问题（如图像质量和数据集偏差）的挑战。为了研究数据质量对 LFM 的影响，我们使用不同质量的数据集在两项眼底诊断任务中进行了探索。具体而言，我们探讨了以下问题：LFM 对图像质量是否更具鲁棒性？LFM 是否受数据集偏差影响？微调技术能否缓解这些影响？我们的调查发现，与典型的卷积网络相比，LFM 对数据集质量问题（包括图像质量和数据集偏差）表现出更强的适应力。此外，我们发现整体微调是缓解数据集质量问题影响的有效适配器。
引用
@article{arxiv.2405.12584,
title = {Is Dataset Quality Still a Concern in Diagnosis Using Large Foundation Model?},
author = {Ziqin Lin and Heng Li and Zinan Li and Huazhu Fu and Jiang Liu},
journal= {arXiv preprint arXiv:2405.12584},
year = {2024}
}
备注
10 pages, 6 figures