关于大语言模型中分而治之提示有效性的研究
人工智能
2024-07-04 v6 计算与语言
机器学习
摘要
基础模型，如大语言模型（Large Language Models，LLMs），因其广泛的应用而引起了极大的兴趣。然而，当处理涉及重复性子任务和/或欺骗性内容的任务时，例如算术计算和文章级假新闻检测，简单的指令提示会导致不准确的响应。现有工作表明，更复杂的提示策略，如思维链（Chain-of-Thoughts）和从易到难（Least-to-Most），可以释放LLM在不同领域的强大能力。最近的研究揭示，简单的分而治之（divide-and-conquer）提示策略，即简单地将输入序列分割成多个子输入，也能在一些特定任务（如错误信息检测）中显著提高LLM的性能。在本文中，我们旨在检验分而治之提示策略的效用，并回答该策略在何种任务上具有优势。具体来说，我们对分而治之提示策略进行了理论分析，并帮助我们识别出DaC提示能带来性能提升并提供理论保证的特定任务。然后，我们展示了两个案例（大整数算术和事实验证），其实验结果与我们的理论分析一致。
引用
@article{arxiv.2402.05359,
title = {An Examination on the Effectiveness of Divide-and-Conquer Prompting in Large Language Models},
author = {Yizhou Zhang and Lun Du and Defu Cao and Qiang Fu and Yan Liu},
journal= {arXiv preprint arXiv:2402.05359},
year = {2024}
}
备注
Preprint