探索手术计算机视觉中数据多样性在自监督学习中的影响
计算机视觉与模式识别
2024-10-28 v2
摘要
过去十年，计算机视觉在 minimally invasive 手术中的应用迅速增长。尽管如此,手术计算机视觉的影响仍有限于其他医学领域如病理和放射学,主要由于代表性标注数据稀缺。虽然从大规模标注数据集如ImageNet进行迁移学习一直是常规做法,以实现高性能模型,但近期自监督学习(SSL)的进展已显示出优于ImageNet的性能。在医学图像分析中,基于领域内SSL的预训练已显示优于ImageNet-based初始化的性能。尽管手术计算机视觉领域的无标签数据丰富,但数据中的多样性有限。本研究探讨了数据多样性在手术计算机视觉SSL中的作用,通过对比过程特定数据集与更异构的通用手术数据集,在三个不同的下游手术应用中进行比较。获得的结果表明,仅使用过程特定数据可实现13.8%,9.5%,36.8%的性能提升,相对于ImageNet预训练。然而,将此数据扩展以更异构的手术数据进一步提升性能,额外提升5.0%,5.2%,2.5%,表明增加SSL数据中的多样性对模型性能有益。代码和预训练模型权重已公开于https://github.com/TimJaspers0801/SurgeNet。
引用
@article{arxiv.2407.17904,
title = {Exploring the Effect of Dataset Diversity in Self-Supervised Learning for Surgical Computer Vision},
author = {Tim J. M. Jaspers and Ronald L. P. D. de Jong and Yasmina Al Khalil and Tijn Zeelenberg and Carolus H. J. Kusters and Yiping Li and Romy C. van Jaarsveld and Franciscus H. A. Bakker and Jelle P. Ruurda and Willem M. Brinkman and Peter H. N. De With and Fons van der Sommen},
journal= {arXiv preprint arXiv:2407.17904},
year = {2024}
}
备注
accepted - Data Engineering in Medical Imaging (DEMI) Workshop @ MICCAI2024