别当枪：基于非线性naive贝叶斯注意力模型的话题连续性模型

将大语言模型（LLM）作为多样化业务场景中的聊天机器人常面临保持话题连续性的挑战。话题的突然中止会导致糟糕的用户体验和低效的计算资源利用。在本文中，我们提出了一个旨在评估响应是否与初始对话话题一致的話题连续性模型。我们的模型基于将相应的自然语言理解（NLU）模型扩展为可量化术语的 naive bayes 方法。随后，我们引入了注意力机制和对数非线性来增强其捕获话题连续性的能力。这种方法允许我们将 NLU 模型转换为可解释的分析公式。与许多 NLU 模型受令牌限制的模型不同，我们提议的模型可以无缝处理任意长度的对话，具有线性时间复杂性。此外，注意力机制显著提高了模型识别复杂对话中話题连续性的能力。根据我们的实验，我们的模型在处理长篇和复杂对话时始终优于传统方法。这一独特能力为我们确保 LLM 负责任且可解释的使用提供了机会。