将类比增强生成与程序记忆相结合用于程序化问答
人工智能
2025-06-30 v2 计算与语言
摘要
大型语言模型在面对复杂程序化任务时难以将分散的信息综合成连贯的计划。本文提出一种新颖的形式化方法和结构，以系统化程序化知识。基于该形式化，我们构建了一个名为 LCStep 的程序化知识数据集，数据来源于 LangChain 教程。为利用该程序化知识解决新任务，我们提出了类比增强生成（AAG）技术，借鉴人类将过去的经验用于解决陌生问题的能力。AAG 使用自定义的程序记忆存储库检索和调整特定领域的知识，以回答新的程序化任务。我们在 LCStep、RecipeNLG 和 CHAMP 数据集上进行测试，采用基于 LLM 的成对评估方法证明 AAG 在性能上优于 few-shot 和 RAG 基线方法。在 RecipeNLG 数据集上还通过人类评估进行了验证。
引用
@article{arxiv.2409.01344,
title = {Pairing Analogy-Augmented Generation with Procedural Memory for Procedural Q&A},
author = {K Roth and Rushil Gupta and Simon Halle and Bang Liu},
journal= {arXiv preprint arXiv:2409.01344},
year = {2025}
}