基于角色注入协作式LLM智能体的立场检测
计算与语言
2024-04-17 v2 人工智能
摘要
立场检测自动识别文本中针对某一目标的立场,对网络和社交媒体研究中的内容分析至关重要。尽管LLM具有令人瞩目的能力,但直接应用于立场检测时仍面临挑战。首先,立场检测需要多方面的知识,从解读事件相关术语到理解社交媒体平台上的表达风格。其次,立场检测需要高级推理以推断作者的隐含观点,因为立场往往微妙地嵌入文本中而非直白陈述。为应对这些挑战,我们设计了一个三阶段框架COLA(即Collaborative rOle-infused LLM-based Agents的缩写),其中LLM被赋予不同角色,形成一个各角色独特贡献的协作系统。最初,在多维度文本分析阶段,我们将LLM配置为语言专家、领域专家和新媒体老手,以获得文本的多方面分析,从而克服第一个挑战。接下来,在推理增强辩论阶段,对于每个潜在立场,我们指定一个特定的基于LLM的智能体为其辩护,引导LLM检测文本特征与立场之间的逻辑联系,解决第二个挑战。最后,在立场结论阶段,最终决策者智能体整合先前的见解以确定立场。我们的方法无需额外标注数据和模型训练,且具有高度可用性。我们在多个数据集上取得了最先进的性能。消融研究验证了每个设计角色在处理立场检测中的有效性。进一步实验展示了我们方法的可解释性和通用性。我们的方法在可用性、准确性、有效性、可解释性和通用性方面表现优异,凸显了其价值。
引用
@article{arxiv.2310.10467,
title = {Stance Detection with Collaborative Role-Infused LLM-Based Agents},
author = {Xiaochong Lan and Chen Gao and Depeng Jin and Yong Li},
journal= {arXiv preprint arXiv:2310.10467},
year = {2024}
}