FinBERT：面向金融通信的预训练语言模型
计算与语言
2020-07-10 v2
摘要
诸如 BERT (Devlin et al., 2019) 之类的上下文预训练语言模型，通过在大规模无标注文本资源上训练，已在各类 NLP 任务中取得显著突破。金融领域同样积累了大量金融通信文本。然而，目前尚无可用的金融领域专用预训练语言模型。在本工作中，我们通过使用大规模金融通信语料库预训练一个金融领域专用的 BERT 模型 FinBERT，以满足这一需求。在三个金融情感分类任务上的实验证实了 FinBERT 相对于通用领域 BERT 模型的优势。代码与预训练模型可在 https://github.com/yya518/FinBERT 获取。我们希望这将对从事金融 NLP 任务的实践者与研究者有所帮助。
引用
@article{arxiv.2006.08097,
title = {FinBERT: A Pretrained Language Model for Financial Communications},
author = {Yi Yang and Mark Christopher Siy UY and Allen Huang},
journal= {arXiv preprint arXiv:2006.08097},
year = {2020}
}
备注
https://github.com/yya518/FinBERT