探索差分私有预训练与参数高效微调对表格 Transformer 的益处
机器学习
2023-09-14 v1 密码学与安全
摘要
对于表格数据的机器学习，Table Transformer（TabTransformer）是一种最先进的神经网络模型，而差分隐私（Differential Privacy, DP）是确保数据隐私的重要组成部分。在本文中，我们探索在迁移学习场景下将这两方面结合的益处——以多种参数高效微调（parameter-efficient fine-tuning, PEFT）方法（包括 Adapter、LoRA 和 Prompt Tuning）对 TabTransformer 进行差分私有预训练与微调。我们在 ACSIncome 数据集上的大量实验表明，这些 PEFT 方法在下游任务准确率和可训练参数数量方面优于传统方法，从而在参数效率、隐私和准确率之间实现了改进的权衡。我们的代码可在 github.com/IBM/DP-TabTransformer 获取。
引用
@article{arxiv.2309.06526,
title = {Exploring the Benefits of Differentially Private Pre-training and Parameter-Efficient Fine-tuning for Table Transformers},
author = {Xilong Wang and Chia-Mu Yu and Pin-Yu Chen},
journal= {arXiv preprint arXiv:2309.06526},
year = {2023}
}
备注
submitted to ICASSP 2024