神经语言习得与自然语言习得相似吗？一项时序探测研究
计算与语言
2022-07-04 v1
摘要
探测方法允许使用外部分类器和统计分析，获得存储在神经网络内层中的语言现象的局部表示。基于预训练Transformer的语言模型被广泛用于自然语言理解（NLU）和自然语言生成（NLG）任务，使其成为下游应用最常用的模型。然而，关于模型是否经过充分预训练或包含与语言学理论相关的知识，少有分析。我们提出了对MultiBERT和T5等Transformer英文模型的时序探测研究。我们依次比较模型在语料训练过程中习得的语言信息。结果表明：1）语言信息在训练早期阶段获得；2）两种语言模型都展现出从形态、句法乃至语篇等多语言层级捕捉各类特征的能力，同时它们也可能在不一致的情况下失败于被视为简单的任务。我们还引入了兼容其他基于Transformer模型的时序探测开源框架。https://github.com/EkaterinaVoloshina/chronological_probing
引用
@article{arxiv.2207.00560,
title = {Is neural language acquisition similar to natural? A chronological probing study},
author = {Ekaterina Voloshina and Oleg Serikov and Tatiana Shavrina},
journal= {arXiv preprint arXiv:2207.00560},
year = {2022}
}
备注
Published in proceedings of Dialogue-2022 "Computational Linguistics and Intellectual Technologies"