通用零样嵌入逆变
计算与语言
2025-04-02 v1 密码学与安全
摘要
嵌入逆变，即给定其嵌入并通过黑盒访问嵌入编码器来重构文本的问题，是 NLP 和安全领域的基本问题。从 NLP 视角来看，它有助于确定输入的语义信息在嵌入中保留了多少。从安全视角来看，它衡量了基于向量的数据库和基于嵌入的检索系统泄露了多少信息。最新方法如 vec2text 具有高准确率，但需要 (a) 为每个嵌入训练独立模型，且 (b) 对相应编码器进行大量查询。我们设计、实现并评估了 ZSInvert，这是一种基于最近提出的对抗解码技术的零样逆变方法。ZSInvert 快速、查询高效，且可用于任何文本嵌入，而无需为特定嵌入训练逆变模型。我们在多个嵌入上测量 ZSInvert 的有效性，证明其能够恢复相应文本的关键语义信息。
引用
@article{arxiv.2504.00147,
title = {Universal Zero-shot Embedding Inversion},
author = {Collin Zhang and John X. Morris and Vitaly Shmatikov},
journal= {arXiv preprint arXiv:2504.00147},
year = {2025}
}