Qualtrics 中跨语言多任务模型的压缩
计算与语言
2022-11-30 v1 机器学习
摘要
体验管理是一个新兴的商业领域，组织专注于理解客户和员工的反馈，以改善其端到端的体验。这带来了一组独特的机器学习问题，用以帮助理解人们的感受、发现他们关心的问题，并找出在传统 NLP 领域之外内容与分布均不同的数据上需采取的行动。在本文中，我们呈现了一个案例研究，构建在体验管理这一新兴商业领域中以 12 种语言高效执行多种分类任务的文本分析应用。为在体验数据上扩展现代 ML 方法，我们利用跨语言与多任务建模技术将模型整合为单一部署以避免开销。我们还使用模型压缩与模型蒸馏，在保持模型预测质量的同时，将整体推理延迟与硬件成本降至业务需求可接受的水平。我们的发现表明，在多任务建模下，XLM-R 与 mBert 架构中一部分体验管理任务的性能得到提升。在探索的压缩架构中，我们发现 MiniLM 实现了最佳的压缩/性能权衡。我们的案例研究展示了最高 15.61 倍的加速，伴随 2.60% 的平均任务性能下降（或 3.29 倍加速伴随 1.71% 下降），并相较使用原始全尺寸模型估计节省 44% 成本。这些结果展示了在体验管理这一挑战性 ML 新领域中对文本分类的成功扩展。
引用
@article{arxiv.2211.15927,
title = {Compressing Cross-Lingual Multi-Task Models at Qualtrics},
author = {Daniel Campos and Daniel Perry and Samir Joshi and Yashmeet Gambhir and Wei Du and Zhengzheng Xing and Aaron Colak},
journal= {arXiv preprint arXiv:2211.15927},
year = {2022}
}
备注
accepted to IAAI-23 (part of AAAI-23)