失败铺路：通过免调优规则积累增强大语言模型
计算与语言
2023-10-25 v1
摘要
大语言模型（LLMs）已展现出令人印象深刻的性能。然而，由于无法捕捉样本间的关系，这些冻结的LLMs不可避免地会重复类似错误。在本工作中，我们提出了免调优规则积累（TRAN）框架，该框架通过从先前的错误中学习来引导LLMs提升性能。考虑到数据顺序到达，LLMs从错误案例中逐步积累规则，形成规则集合。这些规则随后被LLMs用来在处理后续输入时避免犯类似错误。此外，这些规则独立于主提示，可与提示设计策略无缝互补。在实验上，我们表明TRAN大幅优于近期基线方法。
引用
@article{arxiv.2310.15746,
title = {Failures Pave the Way: Enhancing Large Language Models through Tuning-free Rule Accumulation},
author = {Zeyuan Yang and Peng Li and Yang Liu},
journal= {arXiv preprint arXiv:2310.15746},
year = {2023}
}
备注
This paper is accepted by the EMNLP 2023 Main Conference