大语言模型作为知识推理的上下文内教师
计算与语言
2024-10-07 v3
摘要
本文研究上下文内教学（ICT），即教师提供上下文内示例推理过程以教导学生对未见案例进行推理。通常需要人类教师精心构造上下文内演示，这成本高且方差大。我们探讨与人工相比，大语言模型（LLM）能否作为更有效、面向自身或其他LLM的上下文内教师。受人类情景记忆中编码特异性假说的启发，我们假设教师构造的上下文内示例应与学生的训练数据相匹配。该假说促使我们提出Self-Explain方法：利用LLM自身引出的解释作为其提示的上下文内演示，因为这些解释是从模型训练样本中泛化而来的。结果表明，Self-Explain显著优于使用人工构造示例及其他基线方法。此外，我们揭示在ICT中，来自不同教师LLM或人类专家、且更近似学生LLM自身解释的推理过程，是更好的上下文内演示。这支持了我们的编码特异性假说。我们进而提出Teach-Back方法，使教师LLM与学生对齐以提升ICT性能。例如，Teach-Back使一个7B模型能够在上下文中教导大得多的GPT-3.5，在医学问答测试准确率上超越人类教师约5%。
引用
@article{arxiv.2311.06985,
title = {Large Language Models are In-context Teachers for Knowledge Reasoning},
author = {Jiachen Zhao and Zonghai Yao and Zhichao Yang and Hong Yu},
journal= {arXiv preprint arXiv:2311.06985},
year = {2024}
}
备注
EMNLP 24 Findings