Green CWS：面向工业应用的极致蒸馏与高效解码方法
人工智能
2021-11-18 v1
摘要
得益于预训练模型的强大能力，近年来中文分词（CWS）研究取得了巨大进展。然而，由于计算量巨大，大型复杂模型无法将其能力赋能于工业应用。另一方面，对于低资源场景，普遍的解码方法（如条件随机场（CRF））未能充分利用训练数据的全部信息。本工作提出了一种快速且准确的中文分词框架，该框架结合了轻量模型与升级的解码方法（PCRF），面向工业低资源CWS场景。首先，我们蒸馏一个基于Transformer的学生模型作为编码器，不仅加速推理速度，还融合了开放知识与领域特定知识。其次，将评估语言模型的困惑度分数融入CRF模块，以更好地识别词边界。实验表明，与原始基于BERT的模型相比，我们的工作在多个数据集上以低至14%的耗时获得了相对较高性能。此外，在低资源设定下，相较于传统解码方法我们取得了更优结果。
引用
@article{arxiv.2111.09078,
title = {Green CWS: Extreme Distillation and Efficient Decode Method Towards Industrial Application},
author = {Yulan Hu and Yong Liu},
journal= {arXiv preprint arXiv:2111.09078},
year = {2021}
}