低系统资源环境下迁移学习模型与传统神经网络的性能对比
计算与语言
2020-11-17 v1 机器学习
摘要
近年来，利用预训练模型基于迁移学习方法构建神经网络的做法日益流行。这些预训练模型具有使用更少计算资源和更少量训练数据来训练模型的优势。BERT、XLNet 和 GPT 等最先进（state-of-the-art, SOTA）模型的出现提升了准确率，并作为迁移学习的基模型带来益处。然而，这些模型仍过于复杂，且在低 GPU 内存下进行迁移学习训练时消耗大量计算资源。我们将比较轻量级迁移学习模型与专为文本分类和 NER 模型的 NLP 应用而构建的神经网络之间的性能与成本。
引用
@article{arxiv.2011.07962,
title = {Performance of Transfer Learning Model vs. Traditional Neural Network in Low System Resource Environment},
author = {William Hui},
journal= {arXiv preprint arXiv:2011.07962},
year = {2020}
}
备注
5 pages, testing result, feature engineering