应用现成 BERT 的经验教训：不存在银弹
计算与语言
2020-09-21 v2 人工智能
机器学习
摘要
NLP 领域面临的挑战之一是训练大型分类模型，这是一项既困难又繁琐的任务。在缺乏 GPU 硬件时更是难上加难。预训练及现成的词嵌入、模型和模块的日益普及，旨在简化大型模型的训练过程并达到具有竞争力的性能。我们探索了现成 BERT 模型的使用，分享了实验的结果，并将其结果与 LSTM 网络以及更简单的基线进行了比较。我们表明，BERT 的复杂度和计算成本并不能保证在手头的分类任务中提升预测性能。
引用
@article{arxiv.2009.07238,
title = {Lessons Learned from Applying off-the-shelf BERT: There is no Silver Bullet},
author = {Victor Makarenkov and Lior Rokach},
journal= {arXiv preprint arXiv:2009.07238},
year = {2020}
}