CloneBot：个性化对话回复预测

我们的项目任务是创建一个模型，该模型在给定说话人ID、聊天历史记录和一条话语查询的情况下，能够预测对话中的回复话语。该模型针对每个说话人进行了个性化定制。此任务可作为构建在实时对话中以类人方式交谈的语音机器人的有用工具。此外，我们成功利用稠密向量编码聚类来检索相关的历史对话上下文，这是一种克服基于神经网络的模型在预测需要对话历史中长期参考时的输入限制的有用策略。在本文中，我们针对Switchboard语料库，使用基于transformer架构和多头注意力块构建的预训练与微调技术，实现了一个最先进（state-of-the-art）的模型。我们还展示了如何使用高效的向量聚类算法进行实时话语预测，这些预测无需训练，因此可应用于离线及加密的消息历史记录。