当FLUE遇见FLANG：金融领域基准与大型预训练语言模型
计算与语言
2022-11-02 v1 人工智能
机器学习
摘要
预训练语言模型已在多种任务和领域上展现出令人印象深刻的性能。先前关于金融语言模型的研究通常采用通用训练方案来训练标准模型架构，未能充分利用金融数据的丰富性。我们提出了一种新颖的领域特定金融语言模型(FLANG)，其利用金融关键词与短语进行更好的掩码，并结合跨度边界目标与填充目标。此外，该领域的评估基准一直有限。为此，我们贡献了金融语言理解评估(FLUE)，一个开源的金融领域综合基准套件。其中包括跨金融领域5个NLP任务的新基准以及先前研究使用的常见基准。在这些基准上的实验表明，我们的模型在多种NLP任务上优于先前文献中的模型。我们的模型、代码与基准数据已在Github和Huggingface上公开。
引用
@article{arxiv.2211.00083,
title = {WHEN FLUE MEETS FLANG: Benchmarks and Large Pre-trained Language Model for Financial Domain},
author = {Raj Sanjay Shah and Kunal Chawla and Dheeraj Eidnani and Agam Shah and Wendi Du and Sudheer Chava and Natraj Raman and Charese Smiley and Jiaao Chen and Diyi Yang},
journal= {arXiv preprint arXiv:2211.00083},
year = {2022}
}