让我来教你：面向语言模型反馈的教学法基础
计算与语言
2024-10-24 v3
摘要
自然语言反馈（NLF）是一种日益流行的将大语言模型（LLMs）对齐到人类偏好的机制。尽管其可传达的信息多样，NLF 方法常是手工设计且任意的，缺乏系统的依据。与此同时，学习科学的研究早已确立了若干有效的反馈模型。在本观点文章中，我们汇编来自教学法的思想，引入 FELT，一个面向 LLMs 的反馈框架，其勾勒了反馈空间的各种特征，并基于这些变量提出一个反馈内容分类法，提供了反馈空间的通用映射。除简化 NLF 设计外，FELT 还揭示了 NLF 研究中新的、未探索的方向。我们将分类法向社区开放，提供将我们的分类映射到未来研究的指南与示例。
引用
@article{arxiv.2307.00279,
title = {Let Me Teach You: Pedagogical Foundations of Feedback for Language Models},
author = {Beatriz Borges and Niket Tandon and Tanja Käser and Antoine Bosselut},
journal= {arXiv preprint arXiv:2307.00279},
year = {2024}
}
备注
EMNLP 2024; 9 pages, 3 figures