中文 BERT 是否编码了词结构？
计算与语言
2020-10-16 v1
摘要
上下文表示在广泛的自然语言处理任务中带来了显著改进的结果。大量工作致力于分析以 BERT 为代表的模型所捕获的特征。已有研究发现 BERT 中编码了句法、语义与词义知识。然而，针对以汉字为基础的语言（如中文）的词特征的研究甚少。我们利用注意力权重分布统计与探测任务研究中文 BERT，发现：（1）词信息被 BERT 捕获；（2）词级特征主要位于中间表示层；（3）下游任务对 BERT 中词特征的使用方式不同，其中词性标注与组块分析对词特征依赖最多，而自然语言推理对此类特征依赖最少。
引用
@article{arxiv.2010.07711,
title = {Does Chinese BERT Encode Word Structure?},
author = {Yile Wang and Leyang Cui and Yue Zhang},
journal= {arXiv preprint arXiv:2010.07711},
year = {2020}
}
备注
Accepted by COLING2020