CharacterBERT：从字符调和 ELMo 与 BERT 以得到词级开放词表表示
计算与语言
2020-11-03 v3
摘要
由于 BERT 带来的显著改进，许多近期表示模型采用 Transformer 架构作为主干模块，从而继承了 wordpiece 分词系统，尽管其与 Transformer 概念并无本质联系。虽然该系统被认为在字符的灵活性与完整词的效率间取得良好平衡，但使用来自通用领域的预定义 wordpiece 词表并非总是合适，尤其在为专门领域（如医学领域）构建模型时。此外，采用 wordpiece 分词将焦点从词级转向子词级，使模型在概念上更复杂且实践中更不便。出于这些原因，我们提出 CharacterBERT，一种完全弃用 wordpiece 系统、改用 Character-CNN 模块通过查询词的字符来表示整词的 BERT 新变体。我们表明，该新模型在多种医学领域任务上提升了 BERT 性能，同时生成鲁棒、词级且开放词表的表示。
引用
@article{arxiv.2010.10392,
title = {CharacterBERT: Reconciling ELMo and BERT for Word-Level Open-Vocabulary Representations From Characters},
author = {Hicham El Boukkouri and Olivier Ferret and Thomas Lavergne and Hiroshi Noji and Pierre Zweigenbaum and Junichi Tsujii},
journal= {arXiv preprint arXiv:2010.10392},
year = {2020}
}
备注
13 pages, 8 figures and 3 tables. Accepted at COLING 2020