构建用于客户服务的少样本跨域多语言 NLU 模型
计算与语言
2025-06-06 v1 机器学习
摘要
客户服务是电子商务购物体验中的关键支柱，公司每年在不同地理位置（如美国、加拿大、墨西哥、智利）、渠道（如聊天、交互式语音响应（IVR））和语言（如英语、西班牙语）上花费数百万美元用于自动化和人工客服。SOTA 预训练模型如 multilingual-BERT 在针对客户服务的下游任务上表现良好，但模型性能很大程度上取决于是否拥有足够的带标注的领域特定数据。跨域数据可用性仍然是瓶颈，因此构建一个能仅凭少量标注样本即可在不同领域（由渠道、地理位置和语言定义）上泛化的意图分类器具有重要的实际价值。本文提出一种嵌入器-分类器模型架构，将最先进的领域特定模型扩展到其他领域，只需少量标记样本。我们采用带各向同性正则化器的监督微调方法训练领域特定的句子嵌入器，并采用多语言知识蒸馏策略将其嵌入器跨越多个领域进行泛化。经过训练的嵌入器进一步与简单的线性分类器相结合即可部署到新领域。针对加拿大和墨西哥电子商务客户服务数据集上的实验表明，少样本意图检测准确率相对于现有 SOTA 预训练模型提升了 20-23%。
引用
@article{arxiv.2506.04389,
title = {Building a Few-Shot Cross-Domain Multilingual NLU Model for Customer Care},
author = {Saurabh Kumar and Sourav Bansal and Neeraj Agrawal and Priyanka Bhatt},
journal= {arXiv preprint arXiv:2506.04389},
year = {2025}
}