Shimon the Rapper：用于人机交互说唱对战实时系统

我们提出了一个以嘻哈风格实现人与机器人之间实时歌词即兴创作的系统。我们的系统接收人类说唱者的语音输入，分析其语义含义，并生成由机器人伴随音乐律动说唱回应的内容。先前关于实时交互音乐系统的研究主要集中于器乐输出，与机器人的语音交互虽已被探索，但并未置于音乐语境中。我们的生成系统包含用于内容审查、声音、节奏、押韵的定制方法，以及基于音素嵌入的新型深度学习流程。说唱表演伴有同步的机器人手势与嘴部运动。系统中克服的关键技术挑战包括生成押韵、低延迟表演以及数据集审查。我们通过视频与样本文本输出的调查对系统多个方面进行了评估。评论分析显示，系统的整体感知为正面。在我们的嘻哈数据集上训练的模型在连贯性、押韵质量和愉悦度上显著优于金属数据集。参与者更偏好由给定输入短语生成的输出而非由未知关键词生成的输出，表明系统成功将其输出与输入相关联。