开域对话生成的动态随机解码策略
计算与语言
2024-06-13 v1 人工智能
摘要
随机采样策略如 top-k 和 top-p 在对话生成任务中被广泛使用。然而，作为开放域聊天系统，将面临两种不同的对话情境，即闲聊和基于知识的问题解答。前者因对话的单多关系，至关重要的是响应的多样性；后者则要求较少的随机性，因为随机解码策略可能导致生成错误信息。因此，需要一种自适应且灵活的解码策略来同时应对这两种情境。为此，我们提出动态解码策略（Dynamic Decoding Strategy, DDS），可根据不同上下文调整解码空间。在 DDS 中，可在统一框架内实现序列级和标记级自适应搜索，以调整解码过程。此外，我们的自适应算法不仅可用于模型推理，也可用于模型训练阶段以进一步提升性能。全面实验表明，所提出的解码策略可持续地提高使用四种常用随机解码算法时的预训练对话模型性能。
引用
@article{arxiv.2406.07850,
title = {Dynamic Stochastic Decoding Strategy for Open-Domain Dialogue Generation},
author = {Yiwei Li and Fei Mi and Yitong Li and Yasheng Wang and Bin Sun and Shaoxiong Feng and Kan Li},
journal= {arXiv preprint arXiv:2406.07850},
year = {2024}
}
备注
ACL 2024 Findings