神经语言模型中成分的表征：以并列短语为例
计算与语言
2019-09-11 v1 人工智能
机器学习
摘要
神经语言模型已在诸多 NLP 任务上取得最先进性能，且近来被证明能学习若干介于单个词之间、对层次敏感的句法依存。然而，对语言处理同样重要的是将词组合为短语成分、并利用成分级特征驱动下游预期的能力。在此我们以并列名词短语为案例，考察神经模型表征成分级特征的能力。我们评估了在英语与法语上训练的不同神经语言模型是否表征短语级数与性特征，并利用这些特征驱动下游预期。我们的结果表明，模型使用 NP 成分数的线性组合来驱动 CoordNP/动词数一致。该行为高度规则且甚至对局部句法上下文敏感，然而其与观察到的人类行为有关键差异。模型在性一致上成功率较低。在大规模语料上训练的模型表现最佳，且使用显式句法监督训练的模型并无明显优势。
引用
@article{arxiv.1909.04625,
title = {Representation of Constituents in Neural Language Models: Coordination Phrase as a Case Study},
author = {Aixiu An and Peng Qian and Ethan Wilcox and Roger Levy},
journal= {arXiv preprint arXiv:1909.04625},
year = {2019}
}
备注
To appear at EMNLP 2019