不要重新发明轮子：基于引导空间变换的高效指令跟随文本嵌入

在这项工作中，我们研究了一项名为指令跟随文本嵌入的重要任务，该任务生成适应用户指令的动态文本嵌入，以突出文本的特定属性。尽管近期取得了进展，但现有方法存在显著的计算开销，因为它们需要为每条新指令重新编码整个语料库。为了应对这一挑战，我们提出了 GSTransform，一种基于引导空间变换的新型指令跟随文本嵌入框架。我们的关键观察是，与指令相关的信息固有地编码在通用嵌入中，但未被充分利用。GSTransform 不是为每条指令重复编码语料库，而是一种轻量级变换机制，在少量带有以指令为中心的标签注释的文本数据引导下，实时调整预计算的嵌入以与用户指令对齐。我们在跨九个真实世界数据集的三项指令感知下游任务上进行了广泛实验，证明 GSTransform 在指令跟随文本嵌入质量上优于 SOTA 方法，同时在大规模数据集的实时处理中实现了 6~300x 的显著加速。源代码可在 https://github.com/YingchaojieFeng/GSTransform 获取。