ASIST：基于对抗仿真的无标注合成实例分割与跟踪
图像与视频处理
2021-05-25 v3 计算机视觉与模式识别
摘要
背景：显微镜视频的定量分析通常需要对细胞和亚细胞对象进行实例分割与跟踪。传统方法包括两个阶段：（1）对每帧执行实例对象分割，（2）逐帧关联对象。近来，基于像素嵌入的深度学习将这两步同时作为单阶段整体方案处理。在计算机视觉中，具有一致分割与跟踪的标注训练数据资源密集，而在显微成像中该问题的严重性因（1）密集对象（如重叠或接触）和（2）高动态性（如不规则运动和有丝分裂）而倍增。对抗仿真已成功缓解计算机视觉动态场景中此类标注的缺乏，例如使用仿真环境（如电脑游戏）训练真实世界的自动驾驶系统。方法：本文提出一种无标注合成实例分割与跟踪（ASIST）方法，结合对抗仿真与单阶段基于像素嵌入的学习。贡献：本文贡献有三：（1）所提方法聚合了对抗仿真与单阶段基于像素嵌入的深度学习；（2）该方法在细胞（即 HeLa 细胞）和亚细胞（即微绒毛）对象上进行了评估；（3）据我们所知，这是首个探索显微镜视频无标注实例分割与跟踪的研究。结果：与全监督方法相比，ASIST 方法取得了重要进展：在微绒毛上，ASIST 的分割、检测和跟踪性能比全监督方法高 7% 至 11%，在 HeLa 细胞视频上性能相当。
引用
@article{arxiv.2101.00567,
title = {ASIST: Annotation-free Synthetic Instance Segmentation and Tracking by Adversarial Simulations},
author = {Quan Liu and Isabella M. Gaeta and Mengyang Zhao and Ruining Deng and Aadarsh Jha and Bryan A. Millis and Anita Mahadevan-Jansen and Matthew J. Tyska and Yuankai Huo},
journal= {arXiv preprint arXiv:2101.00567},
year = {2021}
}