利用语音活动投影进行实时连续话轮转换预测
计算与语言
2024-01-11 v1 人机交互
声音
音频与语音处理
摘要
本文展示了一个实时连续话轮转换预测系统的演示。该系统基于语音活动投影（VAP）模型，该模型直接将对话立体声音频映射到未来的语音活动。VAP 模型包括对比预测编码（CPC）和自注意力变换器，随后是一个交叉注意力变换器。我们检验了输入上下文音频长度的影响，并证明所提出的系统可以在 CPU 设置下实时运行，且性能下降最小。
引用
@article{arxiv.2401.04868,
title = {Real-time and Continuous Turn-taking Prediction Using Voice Activity Projection},
author = {Koji Inoue and Bing'er Jiang and Erik Ekstedt and Tatsuya Kawahara and Gabriel Skantze},
journal= {arXiv preprint arXiv:2401.04868},
year = {2024}
}
备注
This paper has been accepted for presentation at International Workshop on Spoken Dialogue Systems Technology 2024 (IWSDS 2024) and represents the author's version of the work