混合任务场景下大语言模型的泛化思维链提示
计算与语言
2024-02-21 v3 人工智能
摘要
大语言模型（LLMs）通过利用思维链（CoT）提示展现出显著的推理能力，该方法生成中间推理链作为推导答案的依据。然而，当前 CoT 方法要么简单采用诸如“让我们一步步思考”的通用提示，要么严重依赖预定义的任务特定示例以取得较优性能，从而在性能与泛化之间产生不可避免的鸿沟。为弥合此鸿沟，我们提出 GeM-CoT，一种面向输入问题类型未知之混合任务场景的泛化 CoT 提示机制。GeM-CoT 首先判别问题类型，随后以自动方式从相应数据池中采样或构造示例。借助该技术方案，GeM-CoT 在 10 个公开推理任务与 23 个 BBH 任务上同时具备优越的泛化能力与出色性能。
引用
@article{arxiv.2310.06692,
title = {Generalizable Chain-of-Thought Prompting in Mixed-task Scenarios with Large Language Models},
author = {Anni Zou and Zhuosheng Zhang and Hai Zhao and Xiangru Tang},
journal= {arXiv preprint arXiv:2310.06692},
year = {2024}
}
备注
17 pages, 12 figures