ReCal-Net：用于白内障手术视频语义分割的区域-通道联合校准网络
图像与视频处理
2021-09-28 v1 计算机视觉与模式识别
机器学习
摘要
手术视频中的语义分割是改善手术结果与手术视频分析等广泛应用的先决条件。然而，手术视频中的语义分割涉及诸多挑战。尤其在白内障手术中，相关物体的多种特征如钝边、颜色与上下文变化、反射、透明性和运动模糊对语义分割构成挑战。本文提出一种称为 ReCal 模块的新型卷积模块，其可通过利用区域内外依赖性与通道-区域交叉依赖性对特征图进行校准。该校准策略通过关联同一语义标签的不同表示，并考虑以各像素为中心的多角度局部视图，有效增强语义表示。因此所提模块可处理独特物体的远距离视觉特征以及不同物体视觉特征间的交叉相似性。此外，我们基于所提模块提出一种称为 ReCal-Net 的新型网络架构。实验结果证实了 ReCal-Net 相比竞争对手在白内障手术所有相关物体上的 SOTA 方法的优越性。此外，消融研究揭示了 ReCal 模块在提升语义分割精度方面的有效性。
引用
@article{arxiv.2109.12448,
title = {ReCal-Net: Joint Region-Channel-Wise Calibrated Network for Semantic Segmentation in Cataract Surgery Videos},
author = {Negin Ghamsarian and Mario Taschwer and Doris Putzgruber-Adamitsch and Stephanie Sarny and Yosuf El-Shabrawi and Klaus Schoeffmann},
journal= {arXiv preprint arXiv:2109.12448},
year = {2021}
}
备注
12 pages, 5 figures, accepted at the 28th International Conference on Neural Information Processing (ICONIP), 2021