利用最近邻重叠定位句子嵌入器
计算与语言
2019-09-25 v1
摘要
随着自然语言语义分布式方法的发展与多样化，大于词的语言单元的嵌入器日益发挥重要作用。迄今，此类嵌入器多通过基准任务（如 GLUE）和语言探针进行评估。我们提出一种比较方法——最近邻重叠（N2O），以任务无关的方式量化嵌入器之间的相似性。N2O 仅需一组样本且易于理解：对于相同输入集合，若输入的最近邻之间重叠更大，则两个嵌入器更相似。尽管适用于任意长度文本的嵌入器，我们聚焦于句子嵌入器，并利用 N2O 展示不同设计选择与架构的影响。
引用
@article{arxiv.1909.10724,
title = {Situating Sentence Embedders with Nearest Neighbor Overlap},
author = {Lucy H. Lin and Noah A. Smith},
journal= {arXiv preprint arXiv:1909.10724},
year = {2019}
}
备注
17 pages, 7 figures