用于评估开放式文本生成的个性化对齐学习
计算与语言
2024-10-07 v5
摘要
近期研究日益关注评估大语言模型(LLMs)与多样化人类价值观及偏好的对齐，尤其针对故事生成等开放式任务。传统评估指标严重依赖与人类撰写参考文本的词汇相似度，常与人类判断相关性差，且未能考虑与人类偏好多样性的对齐。为应对这些挑战，我们引入PerSE，一种旨在评估与特定人类偏好对齐的可解释评估框架。它经调谐以从上下文个人档案推断特定偏好，并评估生成内容与个人偏好的对齐程度。PerSE通过提供详细评论与细粒度评分增强可解释性，促进更个性化的内容生成。我们基于13B LLaMA-2的PerSE相较GPT-4在零样本评审员上Kendall相关性提升15.8%、准确率提升13.7%。在新领域上其Kendall相关性更超越GPT-4达46.01%，表明其可迁移性。
引用
@article{arxiv.2310.03304,
title = {Learning Personalized Alignment for Evaluating Open-ended Text Generation},
author = {Danqing Wang and Kevin Yang and Hanlin Zhu and Xiaomeng Yang and Andrew Cohen and Lei Li and Yuandong Tian},
journal= {arXiv preprint arXiv:2310.03304},
year = {2024}
}
备注
19 pages