上下文感知的文档嵌入

近年来，doc2vec在不同任务中取得了优异结果。本文提出doc2vec的一种上下文感知变体。我们引入一种新颖的权重估计机制，利用深度神经网络，根据每个词在上下文中的贡献为其每次出现生成权重。我们的上下文感知模型能够达到与由Wikipedia训练向量初始化的doc2vec相似的结果，同时效率更高且免于繁重的外部语料。对上下文感知权重的分析表明，它们是一种增强的IDF权重，能够捕捉文档中子主题级别的关键词。它们可能源自深度神经网络以最小熵学习隐藏表示。