ExpNote：具备经验笔记本的黑盒大语言模型是更优的任务求解器
计算与语言
2024-08-13 v2 人工智能
摘要
黑盒大语言模型（LLMs）在解决各类任务上展现出强大能力，并被视为通用问题求解器。然而，尽管能够理解任务指令，LLMs 在许多特定任务上仍然失败。本文关注提升黑盒 LLMs 解决下游任务能力的问题。我们提出 ExpNote，一个自动化框架，通过从训练数据中反思并记录经验、在测试时从外部记忆中检索这些经验，帮助 LLMs 更好地适应陌生任务。我们在多个任务上评估了 ExpNote，实验结果表明所提方法显著提升了黑盒 LLMs 的性能。数据和代码可在 https://github.com/forangel2014/ExpNote 获取。
引用
@article{arxiv.2311.07032,
title = {ExpNote: Black-box Large Language Models are Better Task Solvers with Experience Notebook},
author = {Wangtao Sun and Xuanqing Yu and Shizhu He and Jun Zhao and Kang Liu},
journal= {arXiv preprint arXiv:2311.07032},
year = {2024}
}
备注
EMNLP 2023 findings