CoTEVer:用于解释验证的思维链提示标注工具包
计算与语言
2023-03-08 v1 机器学习
摘要
思维链(CoT)提示通过在大语言模型(LLMs)最终预测前生成解释,使其能解决复杂推理任务。尽管其能力可观,CoT 提示的一个关键缺陷在于:所生成解释的事实性会极大影响性能。为提升解释的正确性,需用解释数据微调语言模型。然而,可用于此类方法的数据集寥寥无几,且缺乏构建它们的数据采集工具。为此,我们推出 CoTEVer,一个用于标注所生成解释的事实正确性并收集错误解释修订数据的工具包。此外,我们提出了若干用例,说明利用 CoTEVer 收集的数据可如何用于增强解释的可信度。我们的工具包公开于 https://github.com/SeungoneKim/CoTEVer。
引用
@article{arxiv.2303.03628,
title = {CoTEVer: Chain of Thought Prompting Annotation Toolkit for Explanation Verification},
author = {Seungone Kim and Se June Joo and Yul Jang and Hyungjoo Chae and Jinyoung Yeo},
journal= {arXiv preprint arXiv:2303.03628},
year = {2023}
}
备注
Accepted at EACL 2023 Demo