面向内镜视频分析的自监督学习
计算机视觉与模式识别
2024-03-14 v1 人工智能
摘要
自监督学习(SSL)通过从大量无标注数据中学习，在计算机视觉领域取得了重要突破。因此，它可能在生物医学中发挥关键作用，因为该领域的数据标注需要高度专业的知识。然而，许多医疗领域尚未对 SSL 进行广泛探索。其中一个领域是内镜——常用于检测和治疗感染、慢性炎症性疾病或癌症的微创手术。在这项工作中，我们研究了领先的 SSL 框架，即掩码孪生网络(Masked Siamese Networks, MSNs)，在结肠镜和腹腔镜等内镜视频分析中的使用。为充分发挥 SSL 的威力，我们创建了规模可观的无标注内镜视频数据集用于训练 MSNs。这些强大的图像表示为有限标注数据集的二次训练奠定了基础，从而在腹腔镜手术阶段识别和结肠镜息肉表征等内镜基准上取得最先进的性能。此外，我们在不牺牲性能的前提下将标注数据规模减少了 50%。因此，我们的工作证明 SSL 能大幅降低内镜领域对标注数据的需求。
引用
@article{arxiv.2308.12394,
title = {Self-Supervised Learning for Endoscopic Video Analysis},
author = {Roy Hirsch and Mathilde Caron and Regev Cohen and Amir Livne and Ron Shapiro and Tomer Golany and Roman Goldenberg and Daniel Freedman and Ehud Rivlin},
journal= {arXiv preprint arXiv:2308.12394},
year = {2024}
}
备注
Accepted to MICCAI 2023