重构用于生成自由文本解释的人机协作
计算与语言
2022-05-06 v2
摘要
大语言模型（LLM）日益能够在较少任务特定监督下生成看似流畅的文本。但这些模型能否准确解释分类决策？我们考虑以少样本方式利用人工书写示例来生成自由文本解释的任务。我们发现：（1）撰写更高质量的提示会带来更高质量的生成；（2）令人惊讶的是，在头对头比较中，众包工作者常偏好 GPT-3 生成的解释甚于现有数据集中众包得到的解释。然而，我们的人类研究也显示，尽管模型常能产出事实正确、合乎语法且充分的解释，它们在提供新信息与支撑标签等方面仍有改进空间。我们构建了一个将 GPT-3 与有监督过滤器结合的流水线，该过滤器纳入了人机协同中来自人类的二元可接受性判断。尽管可接受性判断本质主观，我们证明可接受性与解释的各种细粒度属性部分相关。我们的方法能够稳定地过滤出人类认为可接受的 GPT-3 生成解释。
引用
@article{arxiv.2112.08674,
title = {Reframing Human-AI Collaboration for Generating Free-Text Explanations},
author = {Sarah Wiegreffe and Jack Hessel and Swabha Swayamdipta and Mark Riedl and Yejin Choi},
journal= {arXiv preprint arXiv:2112.08674},
year = {2022}
}
备注
NAACL 2022 Camera-ready. 13 pages main + references, 14 pages appendix