SelectFormer：面向 Transformer 的私有且实用的数据选择
机器学习
2025-03-04 v4 密码学与安全
摘要
自由数据市场的关键在于 ，即模型所有方在数据所有方提交交易前，从中筛选并评估训练数据。为保障数据与模型隐私，该过程应在多方计算（MPC）上评估待训练的目标模型。尽管已有工作表明在 MPC 上评估基于 Transformer 的模型开销高得令人却步，本文却使这一过程在数据选择场景下变得实用。我们的贡献有三：(1) 一种基于 MPC 的私有数据选择新流程；(2) 用低维 MLP 仿真高维非线性算子，这些 MLP 在感兴趣数据的小样本上训练；(3) 以并行、多阶段方式调度 MPC。我们在多种 Transformer 模型及 NLP/CV 基准上评估了该方法。与直接在 MPC 上评估目标模型相比，我们的方法将时延从数千小时降至数十小时，而仅因使用所选数据训练产生约 0.20% 的精度下降。
引用
@article{arxiv.2310.02373,
title = {SelectFormer: Private and Practical Data Selection for Transformers},
author = {Xu Ouyang and Felix Xiaozhu Lin and Yangfeng Ji},
journal= {arXiv preprint arXiv:2310.02373},
year = {2025}
}