后专门化：对词汇资源中未出现词的向量进行改造

词向量专门化（亦称retrofitting）是一种可移植、轻量的方法，通过注入来自WordNet等丰富词汇资源的外部知识来微调任意分布式词向量空间。按设计，这些后处理方法仅更新外部词典中出现的词的向量，保持所有未出现词的表示不变。本文中，我们展示约束驱动的向量空间专门化可扩展至未出现词。我们提出一种新颖的后专门化方法：a）保留已见词的有用语言知识；同时b）将该外部信号传播至未出现词以改进其向量表示。我们的后专门化方法通过学习从原始分布式向量预测专门化向量，显式化了一个深度神经网络形式的非线性专门化函数。随后将学得的函数用于专门化未出现词的向量。该方法适用于任意后处理模型，在内在词相似度任务及两个下游任务——对话状态跟踪与词汇文本简化中，均比初始专门化模型取得显著增益。积极效果在三种语言中持续存在，证明了专门化分布式词向量空间完整词表的重要性。