利用嵌入的普遍几何结构
机器学习
2026-01-27 v4
摘要
我们提出了一种首次实现将文本嵌入从一个向量空间翻译到另一个向量空间的方法，而无需任何配对数据、编码器或预定义的匹配集合。我们的无监督方法将任意嵌入翻译到并从通用潜在表示（即由普遍表示假说所推测的通用语义结构）中进行来往翻译。我们的翻译在不同架构、参数计数和训练数据集之间的模型对中实现高余弦相似性。将未知嵌入翻译到不同的空间而保留其几何结构，对向量数据库的安全性具有严重的影响。仅具备嵌入向量的对手可以从底层文档中提取出关于敏感信息的线索，这足以进行分类和属性推断。
引用
@article{arxiv.2505.12540,
title = {Harnessing the Universal Geometry of Embeddings},
author = {Rishi Jha and Collin Zhang and Vitaly Shmatikov and John X. Morris},
journal= {arXiv preprint arXiv:2505.12540},
year = {2026}
}