利用自监督学习从超声扫描视频中分类胎儿心脏切面
图像与视频处理
2024-08-01 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
自监督学习（SSL）方法广受欢迎，因为它们可以直接利用底层数据分布来解决标注数据有限的问题。然而，此类方法在超声（US）成像中的应用尚未得到充分探索，尤其是在胎儿评估方面。我们研究了双编码器SSL利用无标注US视频数据来提升具有挑战性的下游标准胎儿心脏切面（SFCP）分类任务的性能，所用数据为有限标注的2D US图像。我们研究了基于重建、对比损失、蒸馏和信息论的7种SSL方法，并在一个大型私有US数据集上进行了广泛评估。我们的观察和发现来自不同设置下的500多个下游训练实验的综合结果。我们的主要观察表明，对于SSL训练，数据集的方差比其规模更为重要，因为它使模型能够学习可泛化的表示，从而提升下游任务的性能。总体而言，BarlowTwins方法在不同训练设置和数据变化下均表现出稳健的性能，当用作下游任务的初始化时效果显著。特别值得注意的是，仅使用1%标注数据进行完整微调在F1分数上超越了ImageNet初始化12%，并比其他SSL初始化至少高出4%的F1分数，因此它是从US视频到图像数据进行迁移学习的有力候选方法。
引用
@article{arxiv.2407.21738,
title = {Leveraging Self-Supervised Learning for Fetal Cardiac Planes Classification using Ultrasound Scan Videos},
author = {Joseph Geo Benjamin and Mothilal Asokan and Amna Alhosani and Hussain Alasmawi and Werner Gerhard Diehl and Leanne Bricker and Karthik Nandakumar and Mohammad Yaqub},
journal= {arXiv preprint arXiv:2407.21738},
year = {2024}
}
备注
Simplifying Medical Ultrasound: 4th International Workshop, ASMUS 2023, Held in Conjunction with MICCAI 2023, Vancouver, BC, Canada, October 8, 2023, Proceedings