TraSeTR：基于对比查询的跟踪到分割Transformer用于机器人手术中实例级器械分割
计算机视觉与模式识别
2022-02-18 v1
摘要
手术器械分割——通常为像素分类任务——对提升机器人辅助手术(RAS)中的认知智能具有根本重要性。然而，以往方法难以区分器械类型与实例。针对上述难题，我们探索一种产生逐段预测的掩码分类范式。我们提出TraSeTR，一种新颖的跟踪到分割Transformer，巧妙利用跟踪线索辅助手术器械分割。TraSeTR通过解码查询嵌入，以实例级预测(即一组类别-边界框-掩码对)联合推断器械类型、位置与身份。具体而言，我们引入编码了先前时间知识的先验查询，通过身份匹配将跟踪信号传递至当前实例。进一步采用对比查询学习策略重塑查询特征空间，极大缓解了由大时间变化引起的跟踪困难。我们的方法在三个公开数据集(包括来自EndoVis挑战赛的两个RAS基准和一个白内障手术数据集CaDIS)上以最先进的器械类型分割结果证明了有效性。
引用
@article{arxiv.2202.08453,
title = {TraSeTR: Track-to-Segment Transformer with Contrastive Query for Instance-level Instrument Segmentation in Robotic Surgery},
author = {Zixu Zhao and Yueming Jin and Pheng-Ann Heng},
journal= {arXiv preprint arXiv:2202.08453},
year = {2022}
}
备注
Accepted by ICRA 2022