探究分类与主题嵌入中的分类信息
计算与语言
2023-01-26 v1 人工智能
机器学习
摘要
对分类相关性与主题相关性的建模对于构建具有全面自然语言理解的 AI 至关重要。本文旨在进一步了解分类信息如何在嵌入中按结构编码。为此，我们设计了一个新的上下位词探测任务，并对分类与主题 SGNS 和 GloVe 嵌入进行了比较探测研究。我们的实验表明，两类嵌入都编码了一定的分类信息，但编码的信息量及其几何性质独立地取决于编码器架构以及嵌入训练数据。具体而言，我们发现只有分类嵌入在其范数中携带分类信息，而这由数据中的底层分布决定。
引用
@article{arxiv.2301.10656,
title = {Probing Taxonomic and Thematic Embeddings for Taxonomic Information},
author = {Filip Klubička and John D. Kelleher},
journal= {arXiv preprint arXiv:2301.10656},
year = {2023}
}
备注
9 pages, 1 figure, 4 tables, In proceedings of the 12th International Global Wordnet Conference