运用修辞进行"推理"：LLM 生成反论证中的风格-证据权衡
计算与语言
2025-05-26 v6
摘要
大型语言模型（LLMs）在生成基于证据且具风格化的反论证方面发挥着关键作用，但其在实际应用中的效果尚未得到充分探讨。以往研究常忽视证据性与风格之间的平衡，这两者对具说服力的论证至关重要。为此，我们评估了 Counterfire—a 个新数据集中 38,000 条反论证的风格化证据生成效果。该数据集通过修订 Reddit ChangeMyView 社区的反论证，以遵循不同的修辱风格而生成。我们评估了通用与风格化反论证，来自基本模型与微调模型（如 GPT-3.5、PaLM-2、Koala-13B），以及新一代模型（GPT-4o、Claude Haiku、LLaMA-3.1），聚焦于修辞质量与说服力。我们的发现表明，人类更倾向于选择风格化的反论证，而 GPT-3.5 Turbo 表现良好，尽管仍未达到人类修辞质量或说服力的标准，这表明 LLM 生成反论证中仍存风格-证据权衡。我们对 LLM 说服力研究的伦理问题进行了检讨，探讨了潜在的欺骗实践风险，以及为保障公共话语中不当使用的透明部署方法的必要性。代码与数据集已提供，地址为 https://github.com/Preetika764/Style_control/。
引用
@article{arxiv.2402.08498,
title = {"Reasoning" with Rhetoric: On the Style-Evidence Tradeoff in LLM-Generated Counter-Arguments},
author = {Preetika Verma and Kokil Jaidka and Svetlana Churina},
journal= {arXiv preprint arXiv:2402.08498},
year = {2025}
}
备注
24 pages, 9 figures, 13 tables