通过音素转写集成增强跨语言迁移
计算与语言
2023-07-11 v1
摘要
以往的跨语言迁移方法局限于通过文本文字进行正字法表示学习。这一局限阻碍了跨语言迁移，并偏向于共享相似常见文字系统的语言。为缩小不同书写文字系统语言间的差距，我们提出 PhoneXL，一种将音素转写作为传统正字法转写之外的附加语言模态用于跨语言迁移的框架。具体而言，我们提出无监督对齐目标以捕获（1）两种不同模态间的局部一对一对齐，（2）通过多模态上下文的对齐以利用额外模态信息，以及（3）通过融入额外双语词典的多语言上下文对齐。我们还发布了首个针对研究不足但相互关联的中日韩越（CJKV）语言、面向两个词元级任务（命名实体识别与词性标注）的音素-正字法对齐数据集。我们的初步研究表明，音素转写为超越正字法提供了必要信息，可增强跨语言迁移并弥合 CJKV 语言间的差距，在基于正字法的多语言 PLM 上于跨语言词元级任务取得一致提升。
引用
@article{arxiv.2307.04361,
title = {Enhancing Cross-lingual Transfer via Phonemic Transcription Integration},
author = {Hoang H. Nguyen and Chenwei Zhang and Tao Zhang and Eugene Rohrbaugh and Philip S. Yu},
journal= {arXiv preprint arXiv:2307.04361},
year = {2023}
}
备注
11 pages,1 figure, 7 tables. To appear in Findings of ACL 2023