ESGBERT:用于公司环境、社会和治理相关分类任务的语言模型
计算与语言
2022-04-01 v1 机器学习
摘要
环境、社会和治理(ESG)是非财务因素,随着投资者日益寻求将这些因素作为分析的一部分以识别重大风险和增长机会,其正受到关注。部分关注也来自客户,他们比以往任何时候都更清醒,要求以负责任的方式管理和投资其资金。随着对ESG兴趣的增长,投资者对可消费的ESG信息的需求也在增长。由于此类信息大多以文本形式存在于报告、披露、新闻稿和10-Q文件中,我们认为需要复杂的NLP技术用于ESG文本的分类任务。我们假设ESG领域特定的预训练模型将有助于此类任务,并在本文中研究构建该模型。我们探索通过使用ESG特定文本微调BERT的预训练权重,然后进一步微调模型用于分类任务来实现这一点。在环境特定分类任务中,我们取得了优于原始BERT和基线模型的准确率。
引用
@article{arxiv.2203.16788,
title = {ESGBERT: Language Model to Help with Classification Tasks Related to Companies Environmental, Social, and Governance Practices},
author = {Srishti Mehra and Robert Louka and Yixun Zhang},
journal= {arXiv preprint arXiv:2203.16788},
year = {2022}
}