通过部分正交性揭示嵌入的语义
机器学习
2023-10-27 v1 计算与语言
机器学习
摘要
机器学习工具常依赖于将文本嵌入为实数向量。本文中，我们研究语言的语义结构如何编码于此类嵌入的代数结构中。具体而言，我们考察一种“语义独立性”概念，其捕捉如下思想：例如给定“蔬菜”，“茄子”与“番茄”相互独立。尽管这类例子直观，但难以将此种语义独立性形式化。此处的关键观察是，任何合理的形式化都应服从一组所谓的独立性公理，因此该结构的任何代数编码也应服从这些公理。这自然引导我们使用部分正交性作为相关的代数结构。我们发展理论与方法，得以证明部分正交性确实刻画了语义独立性。与此互补，我们还引入了保独立嵌入的概念，即嵌入保持分布的条件独立结构，并证明了此类嵌入及其近似的存在性。
引用
@article{arxiv.2310.17611,
title = {Uncovering Meanings of Embeddings via Partial Orthogonality},
author = {Yibo Jiang and Bryon Aragam and Victor Veitch},
journal= {arXiv preprint arXiv:2310.17611},
year = {2023}
}