通过正交变换的超稠密词嵌入
计算与语言
2022-08-10 v2
摘要
嵌入是用于许多 NLP 任务的通用表示。在本文中，我们引入 DENSIFIER，一种学习方法，其对嵌入空间进行正交变换，将任务相关信息聚焦在维度比原始空间小 100 倍的超稠密子空间中。我们展示由 DENSIFIER 生成的超稠密嵌入在词典创建任务（其中词语被标注三种类型的词汇信息——情感、具体性和频率）上达到了最先进水平。在 SemEval2015 10B 情感分析任务上，我们表明使用超稠密子空间时没有信息损失，但由于超稠密空间的紧凑性，训练效率提高了一个数量级。
引用
@article{arxiv.1602.07572,
title = {Ultradense Word Embeddings by Orthogonal Transformation},
author = {Sascha Rothe and Sebastian Ebert and Hinrich Schütze},
journal= {arXiv preprint arXiv:1602.07572},
year = {2022}
}