面向不平衡企业信用评级的对比预训练
机器学习
2022-02-24 v2
摘要
企业信用评级反映了企业信用水平,并在现代金融风险控制中起着关键作用。但现实世界的信用评级数据通常呈现长尾分布,这意味着严重的类别不平衡问题极大挑战了企业信用评级系统。为此,受近期自监督表示学习中预训练技术进展的启发,我们提出了一种名为面向企业信用评级的对比预训练(CP4CCR)的新框架,其利用自监督来克服类别不平衡。具体而言,我们提出在第一阶段施加无标签信息的对比自监督预训练,以学习更好的与类别无关的初始化。在此阶段,CP4CCR内开发了两项自监督任务:(i)特征掩码(FM)与(ii)特征交换(FS)。在第二阶段,我们可以训练任何由预训练网络初始化的标准企业信用评级模型。在中国公开上市企业评级数据集上进行的广泛实验证明,CP4CCR能够提升标准企业信用评级模型的性能,尤其是对少样本类别。
引用
@article{arxiv.2102.12580,
title = {Contrastive Pre-training for Imbalanced Corporate Credit Ratings},
author = {Bojing Feng and Wenfang Xue},
journal= {arXiv preprint arXiv:2102.12580},
year = {2022}
}