Trip-ROMA：基于三元组与随机映射的自监督学习
计算机视觉与模式识别
2023-08-25 v3
摘要
对比自监督学习（SSL）方法，如 MoCo 和 SimCLR，在无监督视觉表示学习中取得了巨大成功。它们依赖大量负对，因此需要大内存库或大批量。一些近期的非对比 SSL 方法，如 BYOL 和 SimSiam，试图丢弃负对并也展现出卓越性能。为避免不使用负对导致的坍缩解，这些方法需要非平凡的不对称设计。然而，在小数据场景下，我们无法获得足够数量的负对，或在完全不使用负对时有效避免过拟合问题。针对此情况，我们认为负对仍然重要，但每个正对一般一个就足够。我们表明一个简单的基于三元组（Trip）的损失可以在不需要大批量或不对称设计下取得令人惊讶的良好性能。此外，为缓解小数据场景下的过拟合问题并进一步增强 Trip 的效果，我们提出一种简单的即插即用随机映射（ROMA）策略，通过将样本随机映射到其他空间并要求这些随机投影样本满足三元组所指示的相同关系。将基于三元组的损失与随机映射结合，我们得到所提方法 Trip-ROMA。我们在 ImageNet-1K 和七个小型数据集上进行了大量实验，包括无监督表示学习和无监督少样本学习。它们成功证明了 Trip-ROMA 的有效性，并一致表明 ROMA 可进一步有效提升其他 SSL 方法。代码见 https://github.com/WenbinLee/Trip-ROMA。
引用
@article{arxiv.2107.10419,
title = {Trip-ROMA: Self-Supervised Learning with Triplets and Random Mappings},
author = {Wenbin Li and Xuesong Yang and Meihao Kong and Lei Wang and Jing Huo and Yang Gao and Jiebo Luo},
journal= {arXiv preprint arXiv:2107.10419},
year = {2023}
}
备注
Accepted to Transactions on Machine Learning Research (TMLR) 2023