句子嵌入在下游与语言探测任务中的评估

尽管新句子嵌入方法的发展步伐迅速，对这些不同技术进行全面评估仍具挑战。过去几年中，我们见证了句子嵌入领域的显著进展，尤其是朝向可对任意下游任务提供归纳迁移的通用句子编码器的发展。本工作中，我们利用广泛的下游与语言特征探测任务对近期方法进行了全面评估。我们表明，一种使用词袋并配合近期提出的深度上下文相关词嵌入语言模型的简单方法，相较于在蕴含数据集上训练的句子编码器，在许多任务中取得了更优结果。然而我们也表明，我们距离能在若干下游任务上稳定表现的通用编码器仍相去甚远。