ConvoCache：智能重用聊天机器人响应
计算与语言
2024-09-26 v1
摘要
我们提出ConvoCache，一种对话缓存系统，用于解决spoken chatbots中慢且昂贵的生成式AI模型的问题。ConvoCache在过去查找一个语义相似的提示并重用其响应。本文我们在DailyDialog数据集上评估ConvoCache。我们发现ConvoCache可以应用90%的UniEval一致性阈值，并以89%的响应率使用缓存，平均延迟为214ms，取代可超过1秒的LLM和语音合成。为了进一步降低延迟，我们测试了预获取技术，发现其有限的有用性。使用80%的请求进行预获取可达到63%的命中率，但整体一致性下降。ConvoCache可以与任何聊天机器人一起使用，通过减少对生成式AI的使用量（最高可达89%）来降低成本。
引用
@article{arxiv.2406.18133,
title = {ConvoCache: Smart Re-Use of Chatbot Responses},
author = {Conor Atkins and Ian Wood and Mohamed Ali Kaafar and Hassan Asghar and Nardine Basta and Michal Kepkowski},
journal= {arXiv preprint arXiv:2406.18133},
year = {2024}
}
备注
Accepted to appear at Interspeech 2024