分隔符能改进思维链提示吗？
计算与语言
2025-06-16 v3 人工智能
摘要
思维链 (CoT) 提示是一种简单有效的方法，用于提高大型语言模型 (LLMs) 的推理能力。CoT 的基本思想是通过在输入提示中放置示例，让 LLMs 逐步分解其思维过程。然而，CoT 结构密集的提示示例可能会导致 LLMs 的认知过载。受人类认知的启发，我们引入了 COT-SEP，这是一种在 CoT 提示中策略性地在每个示例末尾使用分隔符的方法。这些分隔符旨在帮助 LLMs 在推理时更好地理解其思维过程。有趣的是，与不使用分隔符的普通 CoT 相比，COT-SEP 显著提高了 LLMs 在复杂推理任务（如 GSM8K、AQuA、CSQA）上的性能。我们还研究了在多个 LLMs（包括 GPT-3.5-Turbo、GPT-4 和 LLaMA-2 7B）上测试的分隔符类型和位置的影响。
引用
@article{arxiv.2402.10645,
title = {Can Separators Improve Chain-of-Thought Prompting?},
author = {Yoonjeong Park and Hyunjin Kim and Chanyeol Choi and Junseong Kim and Jy-yong Sohn},
journal= {arXiv preprint arXiv:2402.10645},
year = {2025}
}
备注
IEEE FLLM 2024