精炼、判别与对齐：通过样本原型和多关系提取窃取编码器

本文介绍了RDA，一种旨在解决以往窃取预训练编码器工作中普遍存在的两个主要缺陷的开创性方法：(1) 由于有偏的优化目标导致的次优性能，(2) 由于端到端范式需要每轮查询目标编码器而导致的高查询成本。具体来说，我们首先为每个训练样本精炼目标编码器的表示，从而在窃取训练阶段之前建立一个偏差较小的优化目标。这是通过样本原型实现的，该原型整合了目标编码器对给定样本不同视角的表示。与端到端方法相比，原型所需的查询数量呈指数级减少，并且可以实例化以指导后续的无查询训练。为了获得更强大的效果，我们开发了一种多关系提取损失，该损失训练代理编码器判别不匹配的嵌入-原型对，同时在幅度和角度上对齐那些匹配的对。通过这种方式，训练后的代理编码器在有限的查询下，在各种下游数据集上全面实现了最先进的结果。此外，RDA对多种广泛使用的防御措施具有鲁棒性。