基于小型-大型语言模型一致性验证的协同立场检测
计算与语言
2025-08-25 v2 人工智能
摘要
社交媒体上的立场检测旨在识别针对特定目标在推文中表达的态度。当前研究优先考虑大语言模型 (LLM) 而非小型语言模型 (SLM)，因为 LLM 提供的性能提升极为显著。然而，无论如何依赖 LLM 进行立场检测，对需要进行大规模数据分析的实际社交媒体监测系统来说都不切实际。为此，我们提出了通过小型-大型语言模型一致性验证协同立场检测框架（CoVer），该框架通过上下文共享批处理推理和 LLM 与 SLM 之间的逻辑验证来增强 LLM 的利用。具体而言，CoVer 不会逐个处理文本，而是逐批处理文本，通过 LLM 在共享上下文中获取立场预测和相应的解释。然后，为了排除由上下文噪声引起的偏差，CoVer 引入 SLM 进行逻辑一致性验证。最终，对反复表现出低逻辑一致性的文本使用来自 LLM 立场预测的加权聚合进行分类。我们的实验表明，CoVer 在多个基准测试的零样本设置下 outperform 现有 SOTA 方法，实现每个推文仅需 0.54 次 LLM 查询，同时显著提升性能。我们的 CoVer 为社交媒体立场检测部署 LLM 提供了更实用的解决方案。
引用
@article{arxiv.2502.19954,
title = {Collaborative Stance Detection via Small-Large Language Model Consistency Verification},
author = {Yu Yan and Sheng Sun and Zixiang Tang and Teli Liu and Min Liu},
journal= {arXiv preprint arXiv:2502.19954},
year = {2025}
}