百万条推文胜过点滴调参：为客服任务调优 Transformer
计算与语言
2021-04-19 v1 人工智能
摘要
在在线特定领域客服应用中，许多公司由于数据集的有限可用性与噪声而难以成功部署先进的 NLP 模型。虽然先前的研究展示了迁移大型开放域预训练模型用于特定领域任务的潜力，但适当的（预）训练策略尚未在此类社交媒体客服场景下被严格评估，尤其是在多语言条件下。我们通过收集包含客服对话的多语言社交媒体语料库（865k 条推文），比较各种预训练与微调方法的流程，并将其应用于 5 种不同的末端任务，来弥补这一差距。我们表明，在针对特定末端任务微调之前，先在我们的领域内数据集上预训练一个通用的多语言 transformer 模型，能持续提升性能，尤其是在非英语设置中。
引用
@article{arxiv.2104.07944,
title = {A Million Tweets Are Worth a Few Points: Tuning Transformers for Customer Service Tasks},
author = {Amir Hadifar and Sofie Labat and Véronique Hoste and Chris Develder and Thomas Demeester},
journal= {arXiv preprint arXiv:2104.07944},
year = {2021}
}