少样本分类：经典与深度迁移机器学习方法的比较
机器学习
2019-07-18 v1 机器学习
摘要
尽管深度迁移学习方法在自然语言处理（NLP）中近期取得了成功，但缺乏定量研究来证明这些模型在少样本文本分类任务中相对于现有范式所带来的增益。诸如 BERT 和 ULMFiT 之类的深度迁移学习方法表明它们能在较大数据集上击败最先进的结果，然而当每个类别仅有 100–1000 个标注样本时，方法的选择并不明确，经典机器学习与深度迁移学习均为有效选项。本文在一个三元情感分类任务上比较了当前最佳迁移学习方法与顶级经典机器学习方法，以评估最佳范式。我们发现，代表深度迁移学习最佳水平的 BERT 是表现最好的方法，在每个类别以 100 个样本训练时平均优于顶级经典机器学习算法 9.7%，在每类 1000 个标注时差距缩小至 1.8%。我们还展示了深度迁移学习在跨域迁移中的鲁棒性：在相似域任务中准确率最大损失仅 0.7%，跨域为 3.2%，而经典机器学习损失可达 20.6%。
引用
@article{arxiv.1907.07543,
title = {Low-Shot Classification: A Comparison of Classical and Deep Transfer Machine Learning Approaches},
author = {Peter Usherwood and Steven Smit},
journal= {arXiv preprint arXiv:1907.07543},
year = {2019}
}
备注
12 pages