面向流水线架构的面向目标客服聊天机器人机器学习模型实验评估
人工智能
2024-09-30 v1 机器学习
神经与进化计算
摘要
将机器学习（ML）集成到客服聊天机器人中，增强了其理解和响应用户查询的能力，最终提升了服务性能。然而，对于部分用户而言，它们可能显得人工化，从而影响客户体验。因此，对流水线各组件的 ML 模型进行细致评估对于优化性能至关重要，尽管功能上的差异可能导致不公平的比较。在本文中，我们提出了一种针对具有流水线架构的面向目标客服聊天机器人的定制化实验评估方法，重点关注三个关键组件：自然语言理解（NLU）、对话管理（DM）和自然语言生成（NLG）。我们的方法强调通过单独评估来确定最优的 ML 模型。具体而言，我们专注于优化超参数并评估 NLU（利用 BERT 和 LSTM）、DM（采用 DQN 和 DDQN）以及 NLG（利用 GPT-2 和 DialoGPT）的候选模型。结果表明，对于 NLU 组件，BERT 在意图检测方面表现优异，而 LSTM 在槽位填充方面更胜一筹。对于 DM 组件，DDQN 模型通过实现更少的轮数、更高的奖励以及更高的成功率，优于 DQN。对于 NLG，大语言模型 GPT-2 在 BLEU、METEOR 和 ROUGE 指标上超越了 DialoGPT。这些发现旨在为未来客服聊天机器人的开发与优化研究提供基准，并为模型性能和最优超参数提供有价值的见解。
引用
@article{arxiv.2409.18568,
title = {Experimental Evaluation of Machine Learning Models for Goal-oriented Customer Service Chatbot with Pipeline Architecture},
author = {Nurul Ain Nabilah Mohd Isa and Siti Nuraishah Agos Jawaddi and Azlan Ismail},
journal= {arXiv preprint arXiv:2409.18568},
year = {2024}
}