话语中的行为者识别：对LLM的挑战？
计算与语言
2024-02-02 v1
摘要
识别在公共辩论中提出主张的政治行为者是构建话语网络的关键步骤，这有助于分析社会辩论。然而，行为者识别相当具有挑战性：通常，主张的本地提及的说话者只是一个代词（“他提出[主张]”），因此恢复规范的行为者名称需要话语理解。我们将一个由专用NLP组件组成的传统流水线（类似于应用于相关共指任务的组件）与一个LLM进行比较，后者似乎是这项生成任务的合适选择。在德语报纸报道中的行为者语料库上进行评估，我们惊讶地发现LLM表现更差。进一步分析表明，LLM非常擅长识别正确的指代，但难以生成正确的规范形式。这指向了LLM在控制生成输出方面的潜在问题。事实上，将LLM与分类器结合以规范化其输出的混合模型显著优于两个初始模型。
引用
@article{arxiv.2402.00620,
title = {Actor Identification in Discourse: A Challenge for LLMs?},
author = {Ana Barić and Sean Papay and Sebastian Padó},
journal= {arXiv preprint arXiv:2402.00620},
year = {2024}
}
备注
Proceedings of the EACL 2024 workshop on Computational Models of Discourse (St. Julian's, Malta)