基于领域自适应BERT的企业破产预测
计算与语言
2023-12-07 v1 机器学习
综合经济学
经济学
摘要
本研究对企业披露数据进行基于BERT（一种代表性的上下文语言模型）的分析，以预测即将发生的破产。先前关于破产预测的文献主要侧重于利用财务变量开发更复杂的预测方法。然而，在我们的研究中，我们侧重于提高输入数据集的质量。具体来说，我们采用BERT模型对管理层讨论与分析（MD&A）披露进行情感分析。我们证明，在逻辑回归、k-最近邻（kNN-5）和线性核支持向量机（SVM）中，BERT在调整后的R平方方面优于基于词典的预测和基于Word2Vec的预测。此外，我们没有从头开始预训练BERT模型，而是将基于置信度过滤的自学习应用于企业披露数据（10-K）。我们达到了91.56%的准确率，并证明领域自适应过程带来了预测准确性的显著提升。
引用
@article{arxiv.2312.03194,
title = {Corporate Bankruptcy Prediction with Domain-Adapted BERT},
author = {Alex Kim and Sangwon Yoon},
journal= {arXiv preprint arXiv:2312.03194},
year = {2023}
}