词序信息在跨语言序列标注中的重要性
计算与语言
2020-12-09 v4
摘要
词序差异普遍存在于不同语言之间。本文中，我们假设拟合源语言词序的跨语言模型可能难以处理目标语言。为验证该假设，我们研究使模型对源语言词序不敏感是否能改善在目标语言中的适配性能。为此，我们减少拟合到序列编码器中的源语言词序信息，并观察性能变化。此外，基于该假设，我们提出一种在下游跨语言序列标注任务中微调多语言 BERT 的新方法。在对话自然语言理解、词性标注和命名实体识别任务上的实验结果表明，减少拟合到模型中的词序信息可取得更好的零样本跨语言性能。此外，我们提出的方法也可应用于强跨语言基线，并提升其性能。
引用
@article{arxiv.2001.11164,
title = {On the Importance of Word Order Information in Cross-lingual Sequence Labeling},
author = {Zihan Liu and Genta Indra Winata and Samuel Cahyawijaya and Andrea Madotto and Zhaojiang Lin and Pascale Fung},
journal= {arXiv preprint arXiv:2001.11164},
year = {2020}
}
备注
Accepted in AAAI-2021