SimTriplet：基于单 GPU 的简单三元组表示学习
计算机视觉与模式识别
2021-03-10 v1
摘要
对比学习是现代自监督学习的一项关键技术。早期方法因需要大量计算资源（例如至少 8 块 GPU 或 32 个 TPU 核心）以容纳大规模负样本或动量，其更广泛的可及性受到限制。较新的 SimSiam 方法通过停止梯度且不使用动量编码器解决了这些关键局限。在医学图像分析中，同一患者或组织可获得多个实例。受这些进展启发，我们提出了一种针对病理图像的简单三元组表示学习（SimTriplet）方法。本文的贡献有三方面：（1）所提出的 SimTriplet 方法利用了医学图像超越自增强的多视图特性；（2）该方法通过来自正样本对的三元组最大化样本内与样本间相似度，且不使用负样本；（3）采用近期混合精度训练，仅使用一块 16GB 显存的 GPU 即可推进训练。通过学习 79,000 张无标签病理 patch 图像，SimTriplet 相比监督学习取得了 10.58% 的性能提升，相比 SimSiam 取得了 2.13% 的性能提升。我们提出的 SimTriplet 仅使用 1% 的标签数据即可取得可观性能。代码与数据见 https://github.com/hrlblab/SimTriple。
引用
@article{arxiv.2103.05585,
title = {SimTriplet: Simple Triplet Representation Learning with a Single GPU},
author = {Quan Liu and Peter C. Louis and Yuzhe Lu and Aadarsh Jha and Mengyang Zhao and Ruining Deng and Tianyuan Yao and Joseph T. Roland and Haichun Yang and Shilin Zhao and Lee E. Wheless and Yuankai Huo},
journal= {arXiv preprint arXiv:2103.05585},
year = {2021}
}