基于BI-LSTM CRF模型的日语平假名句子形态分析
计算与语言
2022-01-11 v1 机器学习
摘要
本研究提出一种利用Bi-LSTM CRF模型为日语平假名句子开发形态分析器神经模型的方法。形态分析是一种将文本数据划分为词并赋予词性等信息的技朮。由于日语词间无分隔符，该技术在日语自然语言处理系统的下游应用中起着重要作用。平假名是一种日语表音文字，用于儿童或无法阅读汉字者的文本。平假名句子的形态分析比普通日语句子更困难，因其用于切分的信息更少。针对平假名句子的形态分析，我们展示了基于普通日语文本的模型进行微调的有效性，并考察了不同体裁文本训练数据的影响。
引用
@article{arxiv.2201.03366,
title = {Morphological Analysis of Japanese Hiragana Sentences using the BI-LSTM CRF Model},
author = {Jun Izutsu and Kanako Komiya},
journal= {arXiv preprint arXiv:2201.03366},
year = {2022}
}
备注
13 pages