解码方法对对话式大语言模型人类对齐影响
计算与语言
2024-07-30 v1
摘要
要将大语言模型（LLM）纳入聊天机器人系统中，必须使其与人类对话惯例保持一致。然而，由于主要基于网页抓取数据进行训练，现有LLM的语音更接近信息性文本，而非实际人类言语。本文考察了解码方法对LLM生成内容与人类对话之间对齐程度的影响，包括束搜索（Beam Search）、Top K抽样和核抽样（Nucleus Sampling）。我们提出了衡量对齐度的新指标，涵盖内容、风格和心理测量角度，并在两个对话数据集上进行实验。结果提供了细微的洞见：束搜索中波束数量越少、核抽样中P值越小，越能实现更好的对齐。我们还发现，任务导向数据集和开放式数据集在对齐度方面表现不同，表明考虑交互背景的重要性。
引用
@article{arxiv.2407.19526,
title = {Impact of Decoding Methods on Human Alignment of Conversational LLMs},
author = {Shaz Furniturewala and Kokil Jaidka and Yashvardhan Sharma},
journal= {arXiv preprint arXiv:2407.19526},
year = {2024}
}