RoBERTa、BERT 与 DistilBERT 中的组合语义与词汇语义：基于 CoQA 的案例研究

Ieva Staliūnaitė; Ignacio Iacobacci

RoBERTa、BERT 与 DistilBERT 中的组合语义与词汇语义：基于 CoQA 的案例研究

计算与语言 2020-09-18 v1 机器学习

作者: Ieva Staliūnaitė , Ignacio Iacobacci

摘要

许多 NLP 任务已从上下文词嵌入的知识迁移中受益，然而关于所迁移知识类型的具体图景仍不完整。本文在对话式问答（CoQA）任务背景下，研究语言模型所涵盖的语言现象类型。我们通过系统的错误分析——基础算术（计数短语）、组合语义（否定与语义角色标注）和词汇语义（惊奇度与反义关系）——识别微调后的 RoBERTa、BERT 和 DistilBERT 模型的问题区域。当通过多任务学习增强相关语言知识后，这些模型的性能得到提升。增强模型的集成在总体 F1 分数上带来了 2.2 至 2.7 点的提升，在最难问题类上的 F1 提升高达 42.1 点。结果显示了 RoBERTa、BERT 与 DistilBERT 在表示组合与词汇信息能力上的差异。

关键词

上下文词嵌入组合语义词汇语义对话式问答多任务学习错误分析 RoBERTa BERT

引用

@article{arxiv.2009.08257,
  title  = {Compositional and Lexical Semantics in RoBERTa, BERT and DistilBERT: A Case Study on CoQA},
  author = {Ieva Staliūnaitė and Ignacio Iacobacci},
  journal= {arXiv preprint arXiv:2009.08257},
  year   = {2020}
}

备注

8 pages + 2 pages references, 3 tables, 1 figure. Accepted as long paper in EMNLP2020 main conference

RoBERTa、BERT 与 DistilBERT 中的组合语义与词汇语义：基于 CoQA 的案例研究

摘要

关键词

引用

备注

相关论文