基于 ELBERT 的高效轻量 BERT 快速精准金融情感分析系统
计算与语言
2022-12-07 v2
摘要
随着深度学习和基于 Transformer 的预训练模型(如 BERT)的发展,许多 NLP 任务的准确率得到了显著提升。然而,其庞大的参数量和计算量也给部署带来了挑战。例如,在金融情感分析(FSA)任务中使用 BERT 虽可改善预测,但会拖慢速度,而速度与精度在利润层面同等重要。为解决这些问题,我们首先提出一种高效轻量的 BERT(ELBERT)以及一种新颖的基于置信窗口(CWB)的早期退出机制。基于 ELBERT,我们开发了一种在 GPU 平台上加速文本处理的创新方法,解决了使早期退出机制在较大输入批大小下更有效工作的难题。随后,构建了一个快速且高精度的 FSA 系统。实验结果表明,所提出的 CWB 早期退出机制在相同计算成本下比现有的 BERT 早期退出方法取得了显著更高的准确率。通过使用该加速方法,我们的 FSA 系统可将处理速度提升近 40 倍至每秒超过 1000 条文本,且保持足够精度,速度约为 FastBERT 的两倍,从而为现代交易系统提供更强大的文本处理能力。
引用
@article{arxiv.2211.08842,
title = {Fast and Accurate FSA System Using ELBERT: An Efficient and Lightweight BERT},
author = {Siyuan Lu and Chenchen Zhou and Keli Xie and Jun Lin and Zhongfeng Wang},
journal= {arXiv preprint arXiv:2211.08842},
year = {2022}
}