评估“宪法”在从 AI 反馈中学习中的作用
人工智能
2024-11-18 v1 计算与语言
摘要
大语言模型（LLM）能力的增强使其被用作人类反馈的替代品，以训练和评估其他 LLM。这些方法常依赖“宪法”，即评论模型用来提供反馈并改进生成的书面准则。我们通过使用四部不同的宪法来改善医疗访谈中的以患者为中心的沟通，研究宪法选择如何影响反馈质量。在 215 名人工评分员的成对比较中，我们发现详细的宪法在情感品质方面带来更好的结果。然而，没有任何宪法在学习与信息收集和提供相关的更实用技能方面优于基线。研究结果表明，虽应优先采用详细宪法，但在某些领域 AI 反馈作为奖励信号的有效性可能存在局限。
引用
@article{arxiv.2411.10168,
title = {Evaluating the role of `Constitutions' for learning from AI feedback},
author = {Saskia Redgate and Andrew M. Bean and Adam Mahdi},
journal= {arXiv preprint arXiv:2411.10168},
year = {2024}
}
备注
4 pages, 2 figures. In NeurIPS 2024 Workshop on Language Gamification