利用分层 Reformer 模型在金融监管文件中发现重大信息
统计金融
2022-04-13 v1 计算与语言
机器学习
摘要
机器学习在金融中的多数应用与投资决策的预测任务相关。相反，我们旨在借助机器学习技术促进对金融市场的更好理解。利用自然语言处理深度学习模型的巨大进展，我们构建了一个分层 Reformer（[15]）模型，能够处理来自加拿大金融监管文件的大型文档级数据集 SEDAR。使用该模型，我们展示了利用监管文件预测交易量变化的可能性。我们调整了 HiBERT（[36]）的预训练任务，以利用大型无标签文档数据集获得良好的句子级表示。将该模型微调以成功预测交易量变化，表明模型捕捉到了来自金融市场的视角，且处理监管文件是有益的。分析我们模型的注意力模式揭示，它能够在无显式训练的情况下检测出某些重大信息的迹象，这对投资者以及金融监管者的市场监察职责都高度相关。
引用
@article{arxiv.2204.05979,
title = {Discovering material information using hierarchical Reformer model on financial regulatory filings},
author = {Francois Mercier and Makesh Narsimhan},
journal= {arXiv preprint arXiv:2204.05979},
year = {2022}
}
备注
KDD ML in Finance workshop 2021