F10-SGD：用于文本分类与命名实体识别的弹性网络线性模型的快速训练
计算与语言
2019-02-28 v1
摘要
语音助手的文本分类与命名实体识别（NER）模型在数百万示例语句上训练。由于数据集庞大，长训练时间成为发布改进模型的瓶颈之一。本工作中，我们开发 F10-SGD，一种用于文本分类与 NER 弹性网络线性模型的快速优化器。在内部数据集上，F10-SGD 相较 OWL-QN 优化器将训练时间减少 4 倍，且不损失精度或增大模型规模。此外，我们引入偏置采样，在训练后期优先处理更难的样本。结果除更快训练外，我们还获得了 NER 上统计显著的精度提升。在公开数据集上，F10-SGD 相较 FastText 在文本分类上获得 22% 更快的训练时间，且相较 CRFSuite OWL-QN 在 NER 上减少 4 倍训练时间。
引用
@article{arxiv.1902.10649,
title = {F10-SGD: Fast Training of Elastic-net Linear Models for Text Classification and Named-entity Recognition},
author = {Stanislav Peshterliev and Alexander Hsieh and Imre Kiss},
journal= {arXiv preprint arXiv:1902.10649},
year = {2019}
}