MoCo-Transfer：面向有限数据域的分布外对比学习研究
计算机视觉与模式识别
2023-11-17 v1 机器学习
摘要
医学影像数据常孤立于医院内部，限制了可用于专门模型开发的数据量。在域内数据有限的情况下，人们或希望利用来自相关域的更大数据集。本文中，我们分析了将基于动量对比（MoCo）在分布外数据上自监督预训练的表征迁移至有限数据场景的益处。我们考虑了两个成像身体不同部位的 X 射线数据集，并比较彼此间迁移与从 ImageNet 迁移的效果。我们发现，依据有标签与无标签数据的数量，在更大的分布外数据集上的对比预训练可几乎持平甚至优于域内 MoCo 预训练，且相关域上的预训练比使用 ImageNet 预训练权重带来更高性能。最后，我们提供了一种量化数据集间相似度的初步方法。
引用
@article{arxiv.2311.09401,
title = {MoCo-Transfer: Investigating out-of-distribution contrastive learning for limited-data domains},
author = {Yuwen Chen and Helen Zhou and Zachary C. Lipton},
journal= {arXiv preprint arXiv:2311.09401},
year = {2023}
}
备注
Extended Abstract presented at Machine Learning for Health (ML4H) symposium 2023, December 10th, 2023, New Orleans, United States, 4 pages