面向类不平衡图像数据的自监督学习离线聚类方法
机器学习
2022-12-23 v1 计算机视觉与模式识别
摘要
已知类不平衡数据集会导致模型偏向多数类的问题。在本项目中，我们提出两个研究问题：1) 类不平衡问题在何时于自监督预训练中更为突出？以及 2) 特征表示的离线聚类是否有助于在类不平衡数据上的预训练？我们的实验通过调整训练基线模型（即 SimCLR 与 SimSiam，基于 CIFAR-10 数据库）时的类不平衡程度来探究前者。为回答后者，我们在特征聚类的每个子集上训练各自的专家模型，随后将专家模型的知识蒸馏至单一模型中，从而能够将该模型性能与基线进行比较。
引用
@article{arxiv.2212.11444,
title = {Offline Clustering Approach to Self-supervised Learning for Class-imbalanced Image Data},
author = {Hye-min Chang and Sungkyun Chang},
journal= {arXiv preprint arXiv:2212.11444},
year = {2022}
}
备注
5 pages, 3 figures, Technical report