German FinBERT：一个德语预训练语言模型
计算与语言
2023-11-16 v1 机器学习
摘要
本研究提出 German FinBERT，一种专为金融文本数据定制的新型德语预训练语言模型。该模型通过全面的预训练过程训练，利用了包含德国公司的财务报告、临时公告及相关新闻的大量语料。语料规模与训练标准 BERT 模型常用的数据集相当。我在下游任务上评估了 German FinBERT 的性能，具体为情感预测、主题识别与问答，并与通用德语语言模型对比。我的结果表明其在金融特定数据上的性能提升，说明 German FinBERT 在捕捉领域特定细微差别上的有效性。所述发现表明，German FinBERT 有望成为金融文本分析的宝贵工具，并可能惠及金融领域的多种应用。
引用
@article{arxiv.2311.08793,
title = {German FinBERT: A German Pre-trained Language Model},
author = {Moritz Scherrmann},
journal= {arXiv preprint arXiv:2311.08793},
year = {2023}
}