通过大语言模型协商进行情感分析
计算与语言
2023-11-06 v1
摘要
情感分析的一个标准范式是依赖单一 LLM，并在上下文学习（in-context learning）框架下以单轮做出决策。该框架的关键缺陷在于，单个 LLM 生成的单轮输出可能无法给出完美决策，正如人类有时需要多次尝试才能做对。对于需要深度推理以解决输入中复杂语言现象（如从句组合、反讽等）的情感分析任务而言，这一点尤为明显。为解决此问题，本文引入了一种用于情感分析的多 LLM 协商框架。该框架由一个提供决策及理由的推理增强生成器，以及一个评估生成器可信度的解释推导判别器组成。生成器与判别器迭代直至达成共识。所提框架自然地处理了上述挑战，因为我们可以利用两个 LLM 的互补能力，让它们使用理由来说服彼此进行修正。在广泛情感分析基准（SST-2、Movie Review、Twitter、yelp、amazon、IMDB）上的实验证明了所提方法的有效性：它在所有基准上始终比 ICL 基线取得更好性能，甚至在 Twitter 和影评数据集上优于有监督基线。
引用
@article{arxiv.2311.01876,
title = {Sentiment Analysis through LLM Negotiations},
author = {Xiaofei Sun and Xiaoya Li and Shengyu Zhang and Shuhe Wang and Fei Wu and Jiwei Li and Tianwei Zhang and Guoyin Wang},
journal= {arXiv preprint arXiv:2311.01876},
year = {2023}
}
备注
Pre-print Version