面向开放域多跳问答的少样本数据合成

开放域多跳问答的少样本学习通常依赖于大语言模型（LLMs）的上下文学习能力。尽管强大，这些 LLM 通常包含数百亿或数千亿参数，使其在推理时效率低下。为提升较小语言模型的性能，我们提出了一种多跳问答的数据合成框架，其所需人工标注问答对少于 10 对。我们的框架仅依赖于文档间丰富且自然发生的关系，并构建于由 LLM 与提示参数化的数据生成函数之上。我们合成了数百万条多跳问题与声明以微调语言模型，并在流行的多跳问答与事实验证基准上评估。实证上，我们的方法显著提升了模型性能，使微调后的模型能与基于 GPT-3.5 的方法相竞争，而参数规模仅为其约三分之一。