使用 BERTweet 与 Transformer 预测股票走势

将深度学习与计算智能应用于金融一直是学术界和工业界的热门应用研究领域，并持续吸引着积极的关注。数据固有的高波动性和非平稳性给机器学习模型带来了巨大挑战，对于当今具有强表达力且高度参数化的深度学习模型而言尤为如此。近期工作将社交媒体数据的自然语言处理与仅基于历史价格数据的模型相结合以提升性能，受到了特别关注。先前的工作通过结合双向 GRU、变分自编码器、词和文档嵌入、自注意力、图注意力和对抗训练等技术，在该任务上取得了 SOTA 性能。在本文中，我们展示了 BERTweet（一种专门在 Twitter 语料库上预训练的 BERT 变体）及 Transformer 架构的有效性，其取得了与现有文献相媲美的性能，并在不使用辅助数据源的情况下在 Stocknet 数据集上为 Matthews 相关系数设定了新的基线。