神经语言模型的语言学画像

Alessio Miaschi; Dominique Brunato; Felice Dell'Orletta; Giulia Venturi

doi:10.18653/v1/2020.coling-main.65

神经语言模型的语言学画像

计算与语言 2024-02-27 v3 人工智能

作者: Alessio Miaschi , Dominique Brunato , Felice Dell'Orletta , Giulia Venturi

在 arXiv 上查看 ↗ PDF ↗ DOI ↗

摘要

在本文中，我们研究了神经语言模型(NLM)在微调过程前后所学到的语言学知识，以及这些知识如何在若干分类问题中影响其预测。我们使用了一组广泛的探测任务，每个任务对应于从不同语言学标注层级提取的一种独立的句子级特征。我们表明，BERT能够编码广泛的语言学特征，但在针对特定下游任务训练时往往会丢失这些信息。我们还发现，BERT编码不同种类语言学属性的能力对其预测有正向影响：其对句子存储的可读语言学信息越多，其预测该句子预期标签的能力就越高。

关键词

神经语言模型语言学知识探测任务 BERT 微调下游任务

引用

@article{arxiv.2010.01869,
  title  = {Linguistic Profiling of a Neural Language Model},
  author = {Alessio Miaschi and Dominique Brunato and Felice Dell'Orletta and Giulia Venturi},
  journal= {arXiv preprint arXiv:2010.01869},
  year   = {2024}
}

备注

Accepted to COLING 2020

神经语言模型的语言学画像

摘要

关键词

引用

备注

相关论文