大型语言模型能否解决开放目标立场检测问题？
计算与语言
2025-06-02 v7
摘要
立场检测（SD）识别文本相对于目标的立场，通常标记为 favor、against 或 none。我们引入了开放目标立场检测（OTSD），这是一种最真实的任务，其中训练期间未见过的目标也不作为输入提供。我们评估了来自 GPT、Gemini、Llama 和 Mistral 家族的大型语言模型（LLM），将其性能与唯一现有工作——目标立场提取（TSE）进行比较，后者依赖于预定义的目标列表。与 TSE 不同，OTSD 移除了预定义目标列表的依赖，使目标生成和评估更具挑战性。我们还提供了一个用于评估目标质量的指标，能够良好地与人类判断相关。我们的实验表明，LLM 在目标生成方面优于 TSE，无论目标是否在文本中明确提及。同样，LLM 在文本中明确和不明确的情况下的立场检测方面均超过 TSE。然而，LLM 在目标生成和立场检测中，当目标不明确时表现仍然困难。
引用
@article{arxiv.2409.00222,
title = {Can Large Language Models Address Open-Target Stance Detection?},
author = {Abu Ubaida Akash and Ahmed Fahmy and Amine Trabelsi},
journal= {arXiv preprint arXiv:2409.00222},
year = {2025}
}
备注
Accepted; ACL 2025 (Findings)