BERTwich：扩展 BERT 能力以建模方言与非标准文本
计算与语言
2023-11-02 v1
摘要
现实世界的 NLP 应用常常需要处理非标准文本（例如方言、非正式或拼写错误的文本）。然而，像 BERT 这样的语言模型在面对方言变体或噪声时会性能下降。我们如何推动 BERT 的建模能力以涵盖非标准文本？微调有所帮助，但其设计初衷是将模型专用于某项任务，似乎无法带来将模型适配非标准语言所需的更深层、更普遍的改变。在本文中，我们提出一种新颖思路：在 BERT 的编码器栈两侧插入额外的编码器层，这些层经过训练以在噪声文本上执行掩码语言建模。我们发现，我们的方法结合近期在微调数据中引入字符级噪声的工作，能够促进对方言文本的零样本迁移，并缩小词向量空间中词与其噪声对应词之间的距离。
引用
@article{arxiv.2311.00116,
title = {BERTwich: Extending BERT's Capabilities to Model Dialectal and Noisy Text},
author = {Aarohi Srivastava and David Chiang},
journal= {arXiv preprint arXiv:2311.00116},
year = {2023}
}
备注
Accepted for publication in Findings of the ACL: EMNLP 2023