通过方差归一化与动态嵌入对词表示进行后处理
计算与语言
2020-02-18 v3
摘要
尽管词的嵌入向量表示在许多自然语言处理（NLP）应用中表现出令人印象深刻的性能，但如果训练中仅使用基于上下文的样本，有序输入序列的信息会在一定程度上丢失。为了进一步提升性能，本文提出了两种新的后处理技术，称为方差归一化后处理（PVN）和动态嵌入后处理（PDE）。PVN 方法对词向量的主成分方差进行归一化，而 PDE 方法从有序输入序列中学习正交潜变量。PVN 与 PDE 方法可结合使用以获得更好性能。我们将这些后处理技术应用于两种流行的词嵌入方法（即 word2vec 和 GloVe）以生成其后处理表示。我们进行了大量实验以证明所提后处理技术的有效性。
引用
@article{arxiv.1808.06305,
title = {Post-Processing of Word Representations via Variance Normalization and Dynamic Embedding},
author = {Bin Wang and Fenxiao Chen and Angela Wang and C. -C. Jay Kuo},
journal= {arXiv preprint arXiv:1808.06305},
year = {2020}
}
备注
8 pages, 2 figures