低训练成本实现实时对话
计算与语言
2024-09-19 v1
摘要
大型语言模型（LLM）已展示出通过对话交互提升人类效率的能力。传统 LLM 对话系统基于轮次式范式运行，导致响应生成期间无法实现实时交互。为此，研究者提出 duplex 模型，能够动态适应用户输入，促进实时交互式反馈。然而，这些方法通常需要大量计算资源才能获得此能力。为降低开销，本文提出一种新的 duplex 解码方法，通过最小额外训练增强 LLM 的 duplex 能力。具体而言，我们的方法在对话中并行解码查询和响应，有效实现信道划分复用解码策略。实验结果表明，我们提出的方法在最小训练成本下显著提升了用户与 AI 交互的自然性和逼真度。
引用
@article{arxiv.2409.11727,
title = {Enabling Real-Time Conversations with Minimal Training Costs},
author = {Wang Xu and Shuo Wang and Weilin Zhao and Xu Han and Yukun Yan and Yudi Zhang and Zhe Tao and Zhiyuan Liu and Wanxiang Che},
journal= {arXiv preprint arXiv:2409.11727},
year = {2024}
}
备注
7pages, 6 figures, 1 table