利用大语言模型从目标无关信息预测用户立场
计算与语言
2024-09-24 v1
摘要
我们研究了 Large Language Models (LLMs) 在给定用户目标无关社交媒体帖子集合（即用户级立场预测）的情况下预测其对特定目标立场的能力。虽然我们展示了 LLMs 具备执行此任务的早期证据，但我们发现模型在 (i) 立场目标类型、(ii) 预测策略和 (iii) 提供的目标无关帖子数量方面存在相当大的性能差异。事后分析进一步暗示，目标无关帖子通过包含表层特征（如目标相关关键词）和用户级特征（如编码用户的道德价值观），为 LLMs 提供了相关信息。总体而言，我们的研究结果表明，LLMs 可能提供一种可行的方法，用于基于历史和目标无关数据确定公众对新话题的立场。同时，我们也呼吁开展进一步研究，以更好地理解 LLMs 在立场预测任务上的优异表现及其有效性如何随任务语境而变化。
引用
@article{arxiv.2409.14395,
title = {Predicting User Stances from Target-Agnostic Information using Large Language Models},
author = {Siyuan Brandon Loh and Liang Ze Wong and Prasanta Bhattacharya and Joseph Simons and Wei Gao and Hong Zhang},
journal= {arXiv preprint arXiv:2409.14395},
year = {2024}
}