用于提升 LLM 回答的联邦提示与思维链推理
人工智能
2023-07-03 v2
摘要
我们研究如何提升分布式用户使用基于云的大语言模型（LLMs）所提常见问题的回答精度。我们的研究聚焦于一种典型情形：用户提出相似查询，这些查询涉及相同的数学推理步骤与解题流程。由于 LLM 对独立问题的零样本提示准确率不尽如人意，我们提出利用自一致性（Self-Consistency, SC）与思维链（Chain-of-Thought, CoT）技术来改进分布式同义问题。具体而言，我们首先从众包数据库中检索同义问题并创建联邦问题池。我们将这些具有相同或不同参数的联邦同义问题分别称为 SP-questions 或 DP-questions。我们将所提方法称为 Fed-SP-SC 与 Fed-DP-CoT，其可在无需复杂模型微调的情况下为所有用户查询生成显著更准确的答案。通过大量实验，我们证明了所提方法能通过充分挖掘问题的同义特性与答案的一致性，显著提升问题准确率。
引用
@article{arxiv.2304.13911,
title = {Federated Prompting and Chain-of-Thought Reasoning for Improving LLMs Answering},
author = {Xiangyang Liu and Tianqi Pang and Chenyou Fan},
journal= {arXiv preprint arXiv:2304.13911},
year = {2023}
}