时间约束神经网络（TCNN）：一种半监督视频语义分割框架
计算机视觉与模式识别
2021-12-28 v1 神经与进化计算
摘要
构建有效的语义分割模型，尤其是视频语义分割模型，的一个主要障碍是缺乏大规模且标注良好的数据集。这一瓶颈在医学和外科等高度专业化和受监管的领域中尤为突出，在这些领域中视频语义分割可能有重要应用，但数据和专家标注十分稀缺。在这些场景下，训练过程中可利用时间线索和解剖学约束来提升性能。在此，我们提出时间约束神经网络（TCNN），一种用于手术视频语义分割的半监督框架。在这项工作中，我们展示了自编码器网络可用于高效地为深度学习模型提供空间和时间的监督信号。我们在一个新引入的腹腔镜胆囊切除术视频数据集 Endoscapes 以及公开白内障手术数据集 CaDIS 的改编版本上测试了我们的方法。我们证明，预测掩码的低维表示可用于在这两个稀疏标注数据集上提供一致的性能提升，且在推理时无需额外计算成本。此外，TCNN 框架与模型无关，可与其他模型设计选择结合使用，且额外复杂度极小。
引用
@article{arxiv.2112.13815,
title = {Temporally Constrained Neural Networks (TCNN): A framework for semi-supervised video semantic segmentation},
author = {Deepak Alapatt and Pietro Mascagni and Armine Vardazaryan and Alain Garcia and Nariaki Okamoto and Didier Mutter and Jacques Marescaux and Guido Costamagna and Bernard Dallemagne and Nicolas Padoy},
journal= {arXiv preprint arXiv:2112.13815},
year = {2021}
}
备注
10 pages, 4 figures