BotSIM：面向商业任务型对话系统的端到端机器人仿真框架
计算与语言
2022-12-01 v3
摘要
我们提出BotSIM，一个数据高效的端到端机器人仿真（Bot SIMulation）工具包，用于基于文本的商业任务型对话（TOD）系统。BotSIM由三大核心组件构成：1）生成器，可从机器人定义推断语义级对话行为与实体，并通过基于模型的改写生成用户查询；2）基于议程的对话用户模拟器（ABUS），用于与对话智能体模拟对话；3）修复器，用于分析模拟对话、可视化机器人健康报告并提供可操作的修复建议以排查与改进机器人。我们通过两个商业机器人平台上的案例研究展示了BotSIM在端到端评估、修复及多意图对话生成上的有效性。BotSIM的“生成-模拟-修复”范式通过以下方式加速端到端机器人评估与迭代过程：1）减少人工测试用例创建工作量；2）借助大量对话模拟从NLU与端到端性能上对机器人进行整体度量；3）以可操作建议改进机器人排查流程。我们的系统演示见 https://tinyurl.com/mryu74cd ，演示视频见 https://youtu.be/qLi5iSoly30 。我们已在 https://github.com/salesforce/botsim 开源该工具包。
引用
@article{arxiv.2211.11982,
title = {BotSIM: An End-to-End Bot Simulation Framework for Commercial Task-Oriented Dialog Systems},
author = {Guangsen Wang and Samson Tan and Shafiq Joty and Gang Wu and Jimmy Au and Steven Hoi},
journal= {arXiv preprint arXiv:2211.11982},
year = {2022}
}
备注
Paper accepted by the EMNLP 2022 System Demo Track; We have open-sourced the toolkit at https://github.com/salesforce/botsim