BERTaú：面向数字化客户服务的伊塔乌BERT
计算与语言
2021-07-27 v3 人工智能
机器学习
摘要
近年来，深度学习、自然语言处理（NLP）与对话代理三大主题备受关注。将三者结合以打造卓越的数字客户体验，并实际部署于生产环境解决现实问题，是一种创新且具颠覆性的举措。我们提出了一种名为BERTaú的葡萄牙语金融领域语言表示模型。BERTaú是从零训练的不区分大小写的BERT-base模型，数据来自伊塔乌（Itaú）虚拟助手聊天机器人方案。我们的新颖贡献在于：预训练的BERTaú语言模型所需数据更少，在三项NLP任务上达到最先进（state-of-the-art）性能，并生成更小更轻的模型使部署可行。我们开发了三项任务验证模型：基于伊塔乌银行常见问题（FAQ）的信息检索、来自虚拟助手数据的情感分析，以及一项命名实体识别（NER）方案。所有提出任务均为生产环境中的现实解决方案，且相较于Google多语言BERT及Facebook在Hugging Face发布的DPRQuestionEncoder，专用模型被证明确实有效。BERTaú在FAQ检索MRR指标上提升22%，情感分析F1分数提升2.1%，NER F1分数提升4.4%，且相较“现成模型”可用最多少66%的词元表示同一序列。
引用
@article{arxiv.2101.12015,
title = {BERTa\'u: Ita\'u BERT for digital customer service},
author = {Paulo Finardi and José Dié Viegas and Gustavo T. Ferreira and Alex F. Mansano and Vinicius F. Caridá},
journal= {arXiv preprint arXiv:2101.12015},
year = {2021}
}
备注
10 pages, 5 figures