中文

SusGen-GPT:面向金融 NLP 与可持续性报告生成的数据导向 LLM

计算与语言 2024-12-17 v1 计算工程、金融与科学 机器学习 计算金融

摘要

金融行业的快速发展以及对环境、社会和治理(ESG)考量的日益关注凸显了对先进 NLP 工具的需求。然而,目前稀缺的开源 LLM 在金融与 ESG 领域均表现不佳。为此,我们引入 SusGen-30K 数据集,涵盖七个金融 NLP 任务及可持续性报告生成,并提出 TCFD-Bench 用于评估可持续性报告生成。基于该数据集,我们开发了 SusGen-GPT 模型系列,在六个适配任务和两个现成任务中实现最先进性能,仅落后于 GPT-4 2%,即使使用 7-8B 参数,相较于 GPT-4 的 1,700B 参数亦表现优异。基于此,我们提出 SusGen 系统,集成检索增强生成(RAG)技术,辅助可持续性报告生成。本工作证明了方法的高效性,推动了金融与 ESG 领域的研究发展。

关键词

引用

@article{arxiv.2412.10906,
  title  = {SusGen-GPT: A Data-Centric LLM for Financial NLP and Sustainability Report Generation},
  author = {Qilong Wu and Xiaoneng Xiang and Hejia Huang and Xuan Wang and Yeo Wei Jie and Ranjan Satapathy and Ricardo Shirota Filho and Bharadwaj Veeravalli},
  journal= {arXiv preprint arXiv:2412.10906},
  year   = {2024}
}