解码算法如何在对话回复中分布信息？
计算与语言
2023-03-31 v1
摘要
人类倾向于遵循均匀信息密度（UID）原则，在话语中均匀分布信息。我们研究了解码算法是否隐式地遵循这一 UID 原则，以及在何种条件下遵循 UID 对于对话生成是可取的。我们使用 GPT-2 在 Persona-Chat 数据集上通过不同的解码算法生成回复，并利用 Amazon Mechanical Turk 收集人类对其质量的判断。我们发现：（i）令人惊讶的是，模型生成的回复比人类回复更大程度上遵循 UID 原则；（ii）促进 UID 的解码算法并未生成更高质量的回复。相反，当我们控制惊奇度（surprisal）时，信息密度的非均匀性与极低/极高惊奇度回复的质量相关。我们的研究结果表明，鼓励非均匀回复是解决“似然陷阱”问题（极高似然文本中的质量退化）的一种潜在方案。我们包含每个对话历史的多条候选回复及人工标注质量评分的数据集可在 https://huggingface.co/datasets/saranya132/dialog_uid_gpt2 获取。
引用
@article{arxiv.2303.17006,
title = {How do decoding algorithms distribute information in dialogue responses?},
author = {Saranya Venkatraman and He He and David Reitter},
journal= {arXiv preprint arXiv:2303.17006},
year = {2023}
}