基于正字法和语义相似性的形态相关词的无监督发现
计算与语言
2007-05-23 v1
摘要
我们提出了一种算法,它以未标注语料库为输入,并返回一个按排名排列的可能形态相关词对列表作为输出。该算法试图通过寻找在正字法和语义上都相似的词对来发现形态相关的词对,其中正字法相似性以最小编辑距离衡量,语义相似性以互信息衡量。该过程不依赖于语素拼接模型,也不依赖于词子串的分布特性(如词缀频率)。对德语和英语输入的实验给出了令人鼓舞的结果,无论是在精确率方面(在排名列表的不同截断点找到的好词对的比例),还是在对算法发现的形态模式类型的定性分析方面。
引用
@article{arxiv.cs/0205006,
title = {Unsupervised discovery of morphologically related words based on orthographic and semantic similarity},
author = {Marco Baroni and Johannes Matiasek and Harald Trost},
journal= {arXiv preprint arXiv:cs/0205006},
year = {2007}
}
备注
10 pages, to appear in the Proceedings of the Morphology/Phonology Learning Workshop of ACL-02