大规模销售互动邮件分类中迁移学习的评估
计算与语言
2019-05-07 v1 机器学习
摘要
本文进行了一项实证研究，以评估用于分类来自数字销售互动平台的销售互动邮件的迁移学习。鉴于销售互动内容与上下文的复杂性、缺乏标准化的语料库与基准、标注样本有限以及意图上下文的异质性，这一真实用例对采用迁移学习方法既构成了挑战也提供了机遇。我们提出了一个评估框架，除常用准确率指标外，从三个关键方面评估高性能迁移学习（HPTL）方法：1）有效嵌入与预训练语言模型的使用，2）最小标注样本需求，3）迁移学习实施策略。我们使用内部销售互动邮件样本作为实验数据集，其中包含超过 3000 封被标注为积极、异议、退订或不确定类的邮件。我们讨论了在使用基于特征和微调两种方法评估 BERT、ELMo、Flair 和 GloVe 嵌入及其在 GPU 集群上随标注样本增多而扩展性的发现。我们的结果表明，相对于所有使用不同嵌入的基于特征的方法，BERT 模型的微调在少至 300 个标注样本时表现更优，但在少于 300 个标注样本时表现较差。
引用
@article{arxiv.1905.01971,
title = {An Evaluation of Transfer Learning for Classifying Sales Engagement Emails at Large Scale},
author = {Yong Liu and Pavel Dmitriev and Yifei Huang and Andrew Brooks and Li Dong},
journal= {arXiv preprint arXiv:1905.01971},
year = {2019}
}