大语言模型 stance 检测中外部信息是否有用？

在stance 检测任务中，对文本的分类为favorable、opposing或neutral，以反映其对目标的立场。先前研究表明，使用外部信息（如维基百科摘录）可提高stance 检测性能。然而，尽管大语言模型（Large Language Model, LLM）在许多推理任务中广泛采用，但是否存在这种信息对LLM的帮助尚未得到解答。在本研究中，我们在八个LLM和三个包含12个目标的数据集上系统评估了维基百科和网络搜索外部信息对stance 检测的影响。令人惊讶的是，在大多数情况下，这些信息都会降低性能，macro F1分数下降最高可达27.9%。我们通过实验表明，LLM倾向于根据提供的信息的stance和情感来对齐其预测，而非给定文本的真实stance。我们也发现，尽管链式思考（chain-of-thought）提示仍会导致性能下降，但微调可缓解但未能完全消除这种下降。我们的发现与基于BERT的系统的先前文献形成鲜明对比——后者表明外部信息可提升性能——突显了LLM基于stance 分类器中信息偏差的风险。代码已公开于https://github.com/ngqm/acl2025-stance-detection。