分布外数据在自监督长尾学习中的有效性研究
计算机视觉与模式识别
2023-07-13 v2
摘要
尽管自监督学习(SSL)作为一种有前景的表示学习技术已被广泛研究,但由于多数类主导特征空间,它在长尾数据集上泛化不佳。近期工作表明,通过为自监督训练采样额外的域内(ID)数据可提升长尾学习性能,然而能够重新平衡少数类的大规模ID数据收集成本高昂。本文提出一种替代但易用且有效的方案——基于分布外(OOD)数据的对比长尾学习(COLT),其能有效利用OOD数据动态重平衡特征空间。我们通过实验揭示了OOD样本在SSL长尾学习中反直觉的有效性,并系统性地设计了一种新颖的SSL方法。具体而言,我们首先基于每个OOD样本在特征空间中的邻域为其分配尾度分数,从而定位“头部”与“尾部”样本;随后提出一种在线OOD采样策略以动态重平衡特征空间;最后通过分布级监督对比损失使模型能够区分ID与OOD样本。我们在多个数据集及若干最先进SSL框架上进行了充分实验以验证所提方法的有效性。结果表明,我们的方法大幅提升了SSL在长尾数据集上的性能,甚至优于使用外部ID数据的先前工作。代码见 https://github.com/JianhongBai/COLT。
引用
@article{arxiv.2306.04934,
title = {On the Effectiveness of Out-of-Distribution Data in Self-Supervised Long-Tail Learning},
author = {Jianhong Bai and Zuozhu Liu and Hualiang Wang and Jin Hao and Yang Feng and Huanpeng Chu and Haoji Hu},
journal= {arXiv preprint arXiv:2306.04934},
year = {2023}
}