面向金融情感分析的BERT与GPT-2迁移神经架构敏感性分析
计算与语言
2022-07-08 v1
摘要
新颖的自然语言处理词嵌入和深度学习技术的爆发式增长，引发了对其潜在应用的大量探索。其中一个方向是金融领域。尽管在GPT和BERT等先进模型上已有大量工作，但关于这些方法在预训练后通过微调表现如何，以及其参数敏感性的信息相对较少。我们研究了来自预训练GPT-2和BERT模型的迁移神经架构的性能和敏感性。我们基于冻结Transformer层、批次大小和学习率测试了微调性能。我们发现BERT的参数对微调中的随机性高度敏感，而GPT-2在此类实践中更为稳定。同样明显的是，GPT-2和BERT的早期层包含了应予以保留的基本词模式信息。
引用
@article{arxiv.2207.03037,
title = {Sensitivity Analysis on Transferred Neural Architectures of BERT and GPT-2 for Financial Sentiment Analysis},
author = {Tracy Qian and Andy Xie and Camille Bruckmann},
journal= {arXiv preprint arXiv:2207.03037},
year = {2022}
}