迁移与共享：基于长尾数据的半监督学习
机器学习
2022-05-27 v1
摘要
长尾半监督学习（LTSSL）旨在从类别不平衡且仅有少量样本被标注的数据中学习。现有方案通常需要高昂代价来求解复杂优化问题，或采用类别平衡欠采样从而导致信息丢失。本文提出 TRAS（TRAnsfer and Share，迁移与共享）以有效利用长尾半监督数据。TRAS 通过精细设计的函数转换传统 SSL 模型的伪标签不平衡分布，从而增强少数类的监督信号；随后将该分布迁移至目标模型，使少数类获得显著关注。有趣的是，TRAS 表明相比以往工作追求生成准确伪标签，更平衡的伪标签分布可大幅裨益少数类训练。为简化方法，TRAS 通过共享特征提取器将传统 SSL 模型与目标模型的训练合并为单一过程，两个分类器共同助力表征学习。大量实验表明，TRAS 在整个类别集合及少数类上的准确率均大幅优于当前最优方法。
引用
@article{arxiv.2205.13358,
title = {Transfer and Share: Semi-Supervised Learning from Long-Tailed Data},
author = {Tong Wei and Qian-Yu Liu and Jiang-Xin Shi and Wei-Wei Tu and Lan-Zhe Guo},
journal= {arXiv preprint arXiv:2205.13358},
year = {2022}
}
备注
paper under review