LLM-POTUS Score：使用大语言模型分析总统辩论的框架
计算与语言
2024-09-13 v1
摘要
大语言模型在自然语言处理方面展现出了卓越的能力，但其在政治话语分析中的应用仍有待探索。本文提出了一种使用 LLM 评估总统辩论表现的新方法，解决了客观评估辩论结果的长期挑战。我们提出了一个框架，分析候选人的“政策、人设与视角”（3P）及其如何与四个关键受众群体（选民、企业、捐赠者和政治家）的“利益、意识形态与身份”（3I）产生共鸣。我们的方法采用大语言模型生成 LLM-POTUS Score，这是一种基于 3P 与 3I 之间对齐程度的辩论表现定量衡量指标。我们将此框架应用于分析近期美国总统辩论的记录，展示了其提供对候选人表现细致入微的多维评估的能力。我们的结果揭示了对不同辩论策略的有效性及其对各类受众群体影响的见解。本研究不仅为政治分析提供了一种新工具，还探讨了在复杂社会背景下使用 LLM 作为公正评判者的潜力与局限性。此外，该框架为个体公民提供了一个独立的工具来评估总统辩论表现，这增强了民主参与，并减少了对潜在带有偏见的媒体解读和机构影响的依赖，从而巩固了知情公民参与的基础。
引用
@article{arxiv.2409.08147,
title = {LLM-POTUS Score: A Framework of Analyzing Presidential Debates with Large Language Models},
author = {Zhengliang Liu and Yiwei Li and Oleksandra Zolotarevych and Rongwei Yang and Tianming Liu},
journal= {arXiv preprint arXiv:2409.08147},
year = {2024}
}