大语言模型用于比较叙事分析
计算与语言
2025-04-14 v1 人工智能
摘要
本文对三大流行大语言模型（GPT-3.5、PaLM2和Llama2）进行了多视角比较叙事分析（CNA）。我们对三者采用相同的提示词，对其输出在特定任务上进行评估，以确保在各种LLM之间进行公平且无偏见的比较。我们的研究发现，三种LLM对相同提示词会生成不同的响应，表明它们在理解和分析给定任务方面存在显著差异。我们使用人类评估作为金标准，对LLM性能的差异进行了四个视角的分析。
引用
@article{arxiv.2504.08211,
title = {LLM for Comparative Narrative Analysis},
author = {Leo Kampen and Carlos Rabat Villarreal and Louis Yu and Santu Karmaker and Dongji Feng},
journal= {arXiv preprint arXiv:2504.08211},
year = {2025}
}
备注
5 pages, 4 figures, Appendix included