基于树状 Parzen 估计器贝叶斯优化的监督对比学习用于不平衡表格数据
机器学习
2022-10-27 v2
摘要
类别不平衡会对大多数监督学习算法的预测性能产生有害影响，因为不平衡分布可能导致偏向多数类的偏差。为解决此问题，我们提出一种结合树状 Parzen 估计器 (TPE) 技术的监督对比学习 (SCL) 方法，用于不平衡表格数据集。对比学习 (CL) 即使无标签也能提取数据中隐藏的信息，并已在不平衡学习任务中展现出一定潜力。SCL 在 CL 基础上进一步考虑标签信息，同时也解决了表格数据数据增强技术不足的问题。因此，本工作中我们提出使用 SCL 学习不平衡表格数据的判别性表示。此外，SCL 的超参数温度对性能有决定性影响且难以调优。我们引入知名的贝叶斯优化技术 TPE 来自动选择最佳温度。实验在二分类与多分类不平衡表格数据集上进行。结果表明，TPE 优于网格搜索、随机搜索和遗传算法等三种其他超参数优化 (HPO) 方法。更重要的是，所提出的 SCL-TPE 方法相较最先进的方法取得了大幅改进的性能。
引用
@article{arxiv.2210.10824,
title = {Supervised Contrastive Learning with Tree-Structured Parzen Estimator Bayesian Optimization for Imbalanced Tabular Data},
author = {Shuting Tao and Peng Peng and Qi Li and Hongwei Wang},
journal= {arXiv preprint arXiv:2210.10824},
year = {2022}
}
备注
28 pages, 6 figures