SwiftEmbed：面向实时应用的静态词元查找超快文本嵌入
计算与语言
2026-03-10 v3 人工智能
摘要
我们提出了 SwiftEmbed，一个面向静态词元嵌入的生产级服务系统，在保持 8 个代表性任务上 60.6 MTEB 平均得分的同时，实现了单文本请求 1.12 毫秒的 p50 延迟。该系统基于 MinishLab 的开源 Potion-base-8M 蒸馏模型构建，并使用 Rust 实现，通过静态嵌入查找、均值池化和零拷贝 IEEE754 二进制序列化，每秒可处理 50,000 个请求。评估表明，该系统具有卓越的重复检测性能（90.1% AP）和强大的语义相似性（76.1% Spearman 相关系数）。相对于 Sentence-BERT 的性能取决于任务：在去重和相似性工作负载上表现稳健（89-100%），在分类和复杂检索任务上则显著较低（75%）。特定领域的性能为 GloVe-840B 基线的 75% 至 131%。该系统面向实时嵌入应用，在这些应用中，低于 5 毫秒的延迟在操作上至关重要，且无法进行完整的 Transformer 推理。
引用
@article{arxiv.2510.24793,
title = {SwiftEmbed: Ultra-Fast Text Embeddings via Static Token Lookup for Real-Time Applications},
author = {Edouard Lansiaux and Antoine Simonet and Eric Wiel},
journal= {arXiv preprint arXiv:2510.24793},
year = {2026}
}