使用微调 BERT 与 LSTM 模型从 10-K 报告中识别利益相关者重大信息
计算与语言
2023-08-16 v1 计算工程、金融与科学
摘要
联邦证券法要求所有上市公司在其年度 10-K 报告中披露其业务与财务活动。每份报告通常长达数百页，使人类读者难以高效识别与提取重大信息。为解决该问题，我微调了带 LSTM 层的 BERT 模型与 RNN 模型，以识别利益相关者重大信息，其定义为承载有关公司对利益相关者（包括客户、员工、投资者以及社区与自然环境）影响信息的陈述。现有做法使用关键词搜索来识别此类信息，此为我的基线模型。利用来自 2022 年发布的 62 份 10-K 报告中近 6000 句经商业专家标注的训练数据，最佳模型在测试数据中达到了 0.904 的准确率与 0.899 的 F1 分数，显著高于基线模型的 0.781 与 0.749。此外，同一工作在更细粒度的分类体系上复现，并据此对四类不同利益相关者（即客户、投资者、员工以及社区与自然环境）分别测试。类似地，微调 BERT 模型优于 LSTM 与基线。文中讨论了行业应用启示与未来扩展思路。
引用
@article{arxiv.2308.07522,
title = {Finding Stakeholder-Material Information from 10-K Reports using Fine-Tuned BERT and LSTM Models},
author = {Victor Zitian Chen},
journal= {arXiv preprint arXiv:2308.07522},
year = {2023}
}