基于余弦嵌入与循环沙漏网络的实例分割与跟踪
计算机视觉与模式识别
2018-07-31 v3
摘要
与语义分割不同，实例分割为同一类别的每个个体实例分配唯一的标签。在这项工作中，我们提出了一种新颖的循环全卷积网络架构，用于随时间跟踪此类实例分割。该网络架构将卷积门控循环单元（ConvGRU）整合进堆叠沙漏网络中，以利用视频的时间信息。此外，我们使用一种基于余弦相似度的新颖嵌入损失来训练网络，使得网络为视频中每个实例预测唯一的嵌入。之后，这些嵌入在后续视频帧间进行聚类，以生成最终的跟踪实例分割。我们通过分割心脏 MR 视频中的左心室来评估该循环沙漏网络，其性能优于未利用视频信息的网络。此外，我们展示了余弦嵌入损失在植物静像中叶实例分割上的适用性。最后，我们在 ISBI 细胞跟踪挑战赛的六个数据集上评估了该实例分割与跟踪框架，其表现出最先进的性能。
引用
@article{arxiv.1806.02070,
title = {Instance Segmentation and Tracking with Cosine Embeddings and Recurrent Hourglass Networks},
author = {Christian Payer and Darko Štern and Thomas Neff and Horst Bischof and Martin Urschler},
journal= {arXiv preprint arXiv:1806.02070},
year = {2018}
}
备注
Accepted for ORAL presentation at MICCAI 2018