互信息最大化用于简单而准确的词性诱导
计算与语言
2019-04-04 v4
摘要
我们通过最大化诱导标签与其上下文之间的互信息来解决词性（POS）诱导问题。我们关注两个适用于随机梯度下降（SGD）的训练目标：经典 Brown 聚类目标的一种新推广，以及最近提出的变分下界。尽管两个目标都受到梯度更新中噪声的影响，我们通过分析和实验表明变分下界是鲁棒的，而广义 Brown 目标则易受干扰。我们使用一种编码形态与上下文的简单架构，在多种数据集和语言上获得了具有竞争力的性能。
引用
@article{arxiv.1804.07849,
title = {Mutual Information Maximization for Simple and Accurate Part-Of-Speech Induction},
author = {Karl Stratos},
journal= {arXiv preprint arXiv:1804.07849},
year = {2019}
}
备注
NAACL 2019