ChatGPT、Gemini与LLaMA在多语言情感分析上的比较
计算与语言
2024-02-06 v1 人工智能
摘要
使用基于大语言模型（LLM）的模型（如ChatGPT、Gemini或LLaMA2）进行自动情感分析在学术研究和工业应用中正变得普遍。然而，在模糊或讽刺文本情况下对其性能的评估和验证仍然不足。在本研究中，我们构建了细微且模糊的场景，将其翻译成10种语言，并使用流行的LLM预测其相关情感。结果根据事后人类反应进行验证。模糊场景通常能被ChatGPT和Gemini很好地处理，但我们认识到模型之间以及评估的人类语言之间存在显著的偏差和不一致的性能。这项工作为自动情感分析评估提供了一种标准化方法，并呼吁采取行动进一步改进算法及其底层数据，以提高其性能、可解释性和适用性。
引用
@article{arxiv.2402.01715,
title = {ChatGPT vs Gemini vs LLaMA on Multilingual Sentiment Analysis},
author = {Alessio Buscemi and Daniele Proverbio},
journal= {arXiv preprint arXiv:2402.01715},
year = {2024}
}