主观决策中生成自由文本论证的说服力：基于两两论证排序的案例研究
计算与语言
2024-06-21 v1
摘要
生成自由文本论证是大语言模型(LLM)的新兴能力之一。这些论证被发现能够提升LLM在各种NLP任务中的性能。最近，越来越多的人关注利用这些论证为各种重要下游任务提供见解。本文分析了在具有主观答案的任务中生成的自由文本论证，强调在此类情境中进行论证的重要性。我们聚焦于两两论证排序，这是一个高度主观且具有显著实际应用潜力的任务，如辩论辅助。我们评估了由九个LLM生成的论证的说服力，以支持他们的主观选择。我们的发现表明，开源LLM，特别是Llama2-70B-chat，能够提供高度说服力的论证，甚至超过GPT模型。此外，我们的实验表明，通过控制论证参数来进行提示或通过自我精炼可以提高论证的说服力。
引用
@article{arxiv.2406.13905,
title = {Persuasiveness of Generated Free-Text Rationales in Subjective Decisions: A Case Study on Pairwise Argument Ranking},
author = {Mohamed Elaraby and Diane Litman and Xiang Lorraine Li and Ahmed Magooda},
journal= {arXiv preprint arXiv:2406.13905},
year = {2024}
}