Evoke：通过审稿人-作者提示编辑激发大语言模型的批判性思维能力
计算与语言
2023-10-24 v1 人工智能
摘要
大语言模型（LLMs）在自然语言处理方面取得了令人瞩目的进展。这些模型依赖恰当的人类指令（或提示）来生成合适的响应。然而，常用提示方法并未充分挖掘 LLMs 的潜力：许多人在回路算法采用临时流程进行提示选择；而自动提示生成方法本质上是随机且低效地搜索所有可能的提示。我们提出 Evoke，一个自动提示精炼框架。在 Evoke 中，同一个 LLM 有两个实例：一个作为审稿人（LLM-Reviewer），它对当前提示打分；另一个作为作者（LLM-Author），它结合编辑历史和审稿人反馈来修改提示。这种作者-审稿人反馈循环确保了提示在每次迭代中得到精炼。我们进一步将一种数据选择方法聚合到 Evoke 中，仅将困难样本暴露给 LLM。困难样本更为重要，因为 LLM 能从中对任务形成更深的理解，而模型可能已知道如何解决较容易的情况。实验结果表明，Evoke 显著优于现有方法。例如，在逻辑谬误检测这一挑战性任务中，Evoke 得分超过 80，而所有其他基线方法都难以达到 20。
引用
@article{arxiv.2310.13855,
title = {Evoke: Evoking Critical Thinking Abilities in LLMs via Reviewer-Author Prompt Editing},
author = {Xinyu Hu and Pengfei Tang and Simiao Zuo and Zihan Wang and Bowen Song and Qiang Lou and Jian Jiao and Denis Charles},
journal= {arXiv preprint arXiv:2310.13855},
year = {2023}
}