借助注释者指令辅助提示评估金融情感分析：提升情境解释与股票预测准确性
计算与语言
2025-05-14 v1 人工智能
摘要
金融情感分析（FSA）的挑战已超越典型情感分析领域，这源于金融语境中所用语言的细微差异。现有基准数据集如Financial Phrasebank中的情感分类常因其内在主观性而削弱了这些模型的能力。这些数据集通常特征于未定义的情感类别，这些类别反映了注释者高度个人化的观点，导致注释高度可变。这一可变性在基准测试中对LLM提出不公平的期望——即要求模型推测人类注释者的主观观点，而缺乏足够的情境信息。本文提出注释者指令辅助提示（Annotators' Instruction Assisted Prompt，AIAP），一种新颖的评估提示，旨�义FSA任务定义。通过将最初为人类注释者设计的详细任务指令整合到LLM的提示框架中，AIAP旨在标准化人类与机器对情感的理解，为情感分析提供公平且富有情境的基础。我们利用一个新构建的数据集WSBS（源自WallStreetBets subreddit），展示AIAP如何显著提升LLM性能，通过对齐机器操作与优化后的任务定义。实验结果表明，AIAP显著提升了LLM性能，提升幅度最高达9.08%。这种情境感知方法不仅带来性能的增量提升，还引入一种创新的情感指数方法，利用模型置信度得分。这一方法增强了股票价格预测模型的价值，从金融情感分析中提取更多价值，凸显了WSB作为金融文本关键来源的重要性。我们的研究为通过改进评估方法提升FSA提供了洞见。
引用
@article{arxiv.2505.07871,
title = {Evaluating Financial Sentiment Analysis with Annotators Instruction Assisted Prompting: Enhancing Contextual Interpretation and Stock Prediction Accuracy},
author = {A M Muntasir Rahman and Ajim Uddin and Guiling "Grace" Wang},
journal= {arXiv preprint arXiv:2505.07871},
year = {2025}
}