基于深度双向 Transformer 的金融服务聊天机器人
计算与语言
2020-03-12 v1 机器学习
机器学习
摘要
我们利用深度双向 Transformer 模型（BERT）开发了一款聊天机器人，用于处理金融投资客户服务中的客户问题。该机器人能够识别 381 种意图，并能在适当时候回复“我不知道”，将不相关或不确定的问题转交给人工客服。我们主要的新贡献在于对 BERT 不确定性度量的讨论，系统性地比较了三种不同方法在真实问题上的表现。我们研究了两种不确定性度量：BERT 中的信息熵与 dropout 采样方差，随后采用混合整数规划来优化决策阈值。另一项新贡献是将 BERT 作为语言模型用于自动拼写纠错。带有偶然拼写错误的输入会显著降低意图分类性能。所提方法结合掩码语言模型的概率与词编辑距离，为拼写错误的单词寻找最佳纠正结果。该聊天机器人与整个对话式 AI 系统均使用开源工具开发，并部署于公司内部局域网中。所提方法可服务于寻求在其特定业务领域内类似内部解决方案的行业。我们在 Github 上共享了全部代码以及基于公开数据集构建的示例聊天机器人。
引用
@article{arxiv.2003.04987,
title = {A Financial Service Chatbot based on Deep Bidirectional Transformers},
author = {Shi Yu and Yuxin Chen and Hussain Zaidi},
journal= {arXiv preprint arXiv:2003.04987},
year = {2020}
}