分层字符嵌入：使用递归神经网络在语素起源语言中学习任务音系与语义表示
计算与语言
2020-06-29 v2
摘要
语素文字（汉字）具有递归结构（即语素文字中子单元的分层结构），包含音系与语义信息，正如发展心理学文献所表明的，母语者利用这些结构来学习阅读。利用这些结构有可能产生更好的嵌入，从而惠及许多下游任务。我们提出使用树状 LSTM（一种递归神经网络）从语素文字的递归结构构建分层语素文字（字符）嵌入。使用递归神经网络对从语素文字到嵌入的映射施加了先验，因为网络必须依据递归结构指定的顺序读入语素文字中的子单元。基于人类在语言学习与阅读中的行为，我们假设使用递归神经网络对语素文字结构建模应是有益的。为验证该主张，我们考虑了两个任务：（1）从语素文字结构预测汉字的粤语发音，（2）语言建模。实证结果表明，所提分层嵌入优于基线方法。诊断分析表明，使用 treeLSTM 构建的分层嵌入对干扰项较不敏感，因而更鲁棒，尤其在复杂语素文字上。
引用
@article{arxiv.1912.09913,
title = {Hierarchical Character Embeddings: Learning Phonological and Semantic Representations in Languages of Logographic Origin using Recursive Neural Networks},
author = {Minh Nguyen and Gia H. Ngo and Nancy F. Chen},
journal= {arXiv preprint arXiv:1912.09913},
year = {2020}
}
备注
Accepted by IEEE Transactions on Audio, Speech and Language Processing. Copyright 2019 IEEE