基于时间箭头预测的自监督密集表示学习用于活细胞显微成像
计算机视觉与模式识别
2023-07-27 v2
摘要
最先进的显微图像目标检测与分割方法依赖于有监督机器学习，这需要耗费人力的训练数据人工标注。在此，我们提出一种基于时间箭头预测预训练的自监督方法，从原始的、无标签的活细胞显微视频中学习密集图像表示。我们的方法建立在预测时间翻转图像区域正确顺序的任务之上，通过一个单图像特征提取器，随后是一个作用于融合特征的时间箭头预测头。我们表明，所得的密集表示在像素级别上捕捉了诸如细胞分裂等固有的时间不对称生物过程。我们进一步在多个活细胞显微数据集上展示了这些表示在分裂细胞检测与分割以及细胞状态分类中的效用。我们的方法优于有监督方法，尤其是在仅有有限真值标注可用时（这在实际中很常见）。我们在 https://github.com/weigertlab/tarrow 提供了代码。
引用
@article{arxiv.2305.05511,
title = {Self-supervised dense representation learning for live-cell microscopy with time arrow prediction},
author = {Benjamin Gallusser and Max Stieber and Martin Weigert},
journal= {arXiv preprint arXiv:2305.05511},
year = {2023}
}