通过思维链实现人在回路
计算与语言
2023-06-26 v2 人工智能
摘要
尽管强大语言模型的出现以及思维链（Chain-of-Thought）提示使自动化日益普及，但其在长期或多步逻辑推理中有时表现出弱点。例如，在没有人工参与的情况下，用户并非总能获得复杂数学问题的理想答案。在此背景下，我们提出手动校正系统（MCS）——一种由思维链提示增强的人在回路系统，其探究对推理依据中子逻辑的手动校正如何提升 LLM 的推理性能。更进一步，考虑到人在回路系统不仅涉及由人提升性能，还涉及控制成本。因此，我们基于经典经济学理论提出人在回路系统的成本-效用分析模型（CAMLOP），以分析、量化和平衡效用与相应成本。我们在十二个数据集上进行了 MCS 和 CAMLOP 的实验。在成本和效用方面的显著优势证明了其相对于强基线的优越性。
引用
@article{arxiv.2306.07932,
title = {Human-in-the-Loop through Chain-of-Thought},
author = {Zefan Cai and Baobao Chang and Wenjuan Han},
journal= {arXiv preprint arXiv:2306.07932},
year = {2023}
}