注意力即你所需要的中文分词
计算与语言
2020-10-07 v3
摘要
本文将贪婪解码算法视为理所当然，着重于进一步强化中文分词（CWS）的模型本身，从而得到一个更快速且更准确的中文分词模型。我们的模型由一个仅注意力的堆叠编码器和一个足够轻的解码器（用于贪婪分词）以及两条高速公路连接（用于更平滑的训练）组成，其中编码器由新提出的 Transformer 变体——高斯掩码方向（GD）Transformer 和一个双仿射注意力打分器构成。借助有效的编码器设计，我们的模型仅需采用 unigram 特征进行打分。我们的模型在 SIGHAN Bakeoff 基准数据集上进行了评估。实验结果表明，在具有最高分词速度的同时，所提模型在严格封闭测试设定下相较于强基线取得了新的 SOTA 或可比性能。
引用
@article{arxiv.1910.14537,
title = {Attention Is All You Need for Chinese Word Segmentation},
author = {Sufeng Duan and Hai Zhao},
journal= {arXiv preprint arXiv:1910.14537},
year = {2020}
}
备注
11 pages, to appear in EMNLP 2020 as a long paper