基于链接文法的语言模型的无监督训练探讨

在本短文中，我们探讨基于链接文法（link grammar）的图语言模型无监督训练所需的条件。首先，我们引入基于 Sleator 与 Temperley [21] 的链接文法形式体系构建语言模型所需的终止标记（termination tags）形式体系，并讨论上下文对链接文法无监督学习的影响。其次，我们提出一种统计链接文法形式体系，以支持统计语言生成。第三，基于上述形式体系，我们指出 Yuret [25] 关于利用词法吸引发现语言关系的经典论文忽略了语言的上下文特性，因而仅依赖 bigram 的无监督语言学习方法是有缺陷的。这与基于 Yuret 的 bigram 方法的图语言模型无监督训练中不尽人意的结果相吻合。