检验集成情感分析中的独立性：基于康德投票定理的大语言模型研究
计算与语言
2024-09-04 v1 人工智能
摘要
本文探讨了将康德投票定理（Condorcet Jury Theorem）应用于情感分析领域，具体检验各种大语言模型（LLM）的性能与较简单的自然语言处理（NLP）模型的表现。该定理认为，在单个分类器决策独立的情况下，多数投票分类器应提高预测准确性。我们的实证研究通过在不同模型上实现多数投票机制来测试这一理论框架，包括先进的LLM如ChatGPT 4。与预期相反，结果显示在纳入更大模型后，性能提升仅有限，表明它们之间缺乏独立性。这一发现与假设一致，即便是复杂的LLM在情感分析中的推理任务中也不显著优于较简单的模型，显示出先进NLP任务中模型独立性的实际限制。
引用
@article{arxiv.2409.00094,
title = {Examining Independence in Ensemble Sentiment Analysis: A Study on the Limits of Large Language Models Using the Condorcet Jury Theorem},
author = {Baptiste Lefort and Eric Benhamou and Jean-Jacques Ohana and Beatrice Guez and David Saltiel and Thomas Jacquot},
journal= {arXiv preprint arXiv:2409.00094},
year = {2024}
}