AlignedCoT：通过母语者式演示提示大语言模型
人工智能
2024-10-08 v5 机器学习
摘要
大语言模型（LLM）提示技术，例如使用上下文演示，是调用 LLM 执行高性能且稳健的复杂推理（如数学推理、常识推理）的主流技术，并具有进一步人机协作科学发现的潜力。然而，当前 LLM 对提示词和风格敏感且难以捉摸。并且 LLM 理解与人写提示之间存在 unseen 的鸿沟。本文介绍 AlignedCoT，一种 LLM 熟知的提示技术，其在上下文学习中为 LLM 包含熟练的“母语者式”演示。具体而言，它通过逐步探测、精炼和格式化 LLM 思维链，在零样本场景下实现一致且正确的逐步提示，从而免于手工设计的少样本演示，同时保持提示质量。我们在数学推理和常识推理上进行了实验。我们发现带有 AlignedCoT 的 LLM 表现显著优于带人写演示的 LLM。我们进一步将 AlignedCoT 应用于重写 GSM8K 训练集，得到 GSM8K-Align 数据集。我们观察到其对检索增强生成的好处。代码和数据可在 https://github.com/yangzhch6/AlignedCoT 找到。
引用
@article{arxiv.2311.13538,
title = {AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations},
author = {Zhicheng Yang and Yinya Huang and Jing Xiong and Liang Feng and Xiaodan Liang and Yiwei Wang and Jing Tang},
journal= {arXiv preprint arXiv:2311.13538},
year = {2024}
}
备注
Findings of EMNLP 2024