结肠镜视频中噪声时间自监督下的对比学习
计算机视觉与模式识别
2026-05-20 v2
摘要
学习息肉轨迹的鲁棒表示是实现多种AI辅助结肠镜应用的关键，从息肉表征到自动报告和检索。监督对比学习是学习此类表示的有效方法，但它通常依赖于正确的正负样本定义。收集这些标签需要关联视频中描绘同一底层息肉实体的轨迹，这成本高昂且需要专门的临床专业知识。在这项工作中，我们利用结肠镜手术的顺序工作流程，从时间结构中推导出自监督关联。由于时间衍生的关联不能保证正确，我们引入了一种噪声感知对比损失来处理噪声关联。我们在多个下游任务中展示了所学表示的有效性，包括息肉检索和重识别、尺寸估计和组织学分类。我们的方法优于先前的自监督和监督基线，并且在所有任务上匹配或超过最新的基础模型，仅使用在27个视频上训练的轻量级编码器。代码可在https://github.com/lparolari/ntssl获取。
引用
@article{arxiv.2605.12320,
title = {Contrastive Learning under Noisy Temporal Self-Supervision for Colonoscopy Videos},
author = {Luca Parolari and Pietro Gori and Lamberto Ballan and Carlo Biffi and Loic Le Folgoc},
journal= {arXiv preprint arXiv:2605.12320},
year = {2026}
}
备注
Accepted to MICCAI 2026