从预训练语言模型中移除非平稳知识以用于金融实体级情感分类
计算与语言
2023-01-26 v2 机器学习
综合金融
摘要
从新闻文本、股票留言板与商业报告中提取情感信号以预测股票走势，已成为金融领域日益受关注的课题。基于过往文献，近期工作试图通过引入方面级情感分类（ASC）来更好地从具有复杂句法结构的句子中捕捉情感。尽管关注渐增，但由于缺乏标注的金融特定数据，细粒度情感分析在非英语文献中尚未充分探索。因此，非英语语言有必要利用不同领域、语言与任务的数据库和预训练语言模型（PLM）以提升性能。为推进韩语金融特定 ASC 研究，我们构建了 KorFinASC——一个包含 12,613 个人工标注样本的韩语金融方面级情感分类数据集，并探索了中间迁移学习方法。实验表明，过往研究忽视了训练阶段编码的金融实体可能错误知识，高估了 PLM 的预测能力。本文中，我们用术语“非平稳知识”指代曾正确但可能变化的信息，并提出“TGT-Masking”——一种新颖的掩码模式以限制 PLM 推测此类知识。最终，通过一系列应用 TGT-Masking 的迁移学习，我们在 KorFinASC 上相较独立模型提升了 22.63% 的分类准确率。
引用
@article{arxiv.2301.03136,
title = {Removing Non-Stationary Knowledge From Pre-Trained Language Models for Entity-Level Sentiment Classification in Finance},
author = {Guijin Son and Hanwool Lee and Nahyeon Kang and Moonjeong Hahm},
journal= {arXiv preprint arXiv:2301.03136},
year = {2023}
}
备注
Published at The AAAI-2023 Workshop On Multimodal AI For Financial Forecasting (muffin@AAAI2023)