利用通用依存关系为语音购物助手重训练DistilBERT
人工智能
2021-03-30 v1 计算与语言
摘要
在本工作中，我们在零售领域特定数据上为重训练了蒸馏BERT语言模型，用于沃尔玛的语音购物助手。我们还注入了通用句法依存关系以进一步提升模型性能。当前可用的语音助手的自然语言理解(NLU)组件严重依赖语言模型完成各类任务。诸如BERT和RoBERTa之类的通用语言模型对领域无关的助手有用，但在服务于特定领域时存在局限。例如，在购物领域中，词元'horizon'意指一个品牌而非其字面含义。通用模型无法捕捉此类细微差别。因此，在本工作中，我们在零售领域特定数据上重训练了BERT语言模型的蒸馏版本，用于沃尔玛的语音购物助手。我们还在重训练过程中加入了基于通用依存关系的特征，以进一步提升模型在下游任务上的性能。我们在四个下游任务上评估了重训练语言模型的性能，包括意图-实体检测、情感分析、语音标题精简和主动意图建议。我们观察到所有下游任务的性能平均提升高达1.31%。
引用
@article{arxiv.2103.15737,
title = {Retraining DistilBERT for a Voice Shopping Assistant by Using Universal Dependencies},
author = {Pratik Jayarao and Arpit Sharma},
journal= {arXiv preprint arXiv:2103.15737},
year = {2021}
}
备注
Published in the Proceedings of The Fourth Workshop on Reasoning and Learning for Human-Machine Dialogues at the Thirty-Fifth AAAI Conference on Artificial Intelligence (AAAI-21)