提取出的 BERT 模型泄露的信息比你想象的更多！
密码学与安全
2022-11-01 v2
摘要
大数据的收集与可得性，结合预训练模型（如 BERT）的进步，彻底改变了自然语言处理任务的预测性能。这使得企业能够通过将基于 BERT 微调的模型封装为 API 来提供机器学习即服务（MLaaS）。由于巨大的商业利益，试图通过模型提取来窃取远程服务的尝试激增。尽管已有工作在防御模型提取攻击方面取得了进展，但关于其在防止隐私泄露方面性能的探讨甚少。本工作通过针对提取出的 BERT 模型发起属性推断攻击，弥补了这一空白。我们大量的实验表明，即使受害模型采用了先进的防御策略，模型提取仍可导致严重的隐私泄露。
引用
@article{arxiv.2210.11735,
title = {Extracted BERT Model Leaks More Information than You Think!},
author = {Xuanli He and Chen Chen and Lingjuan Lyu and Qiongkai Xu},
journal= {arXiv preprint arXiv:2210.11735},
year = {2022}
}
备注
accepted to EMNLP2022 (oral). arXiv admin note: text overlap with arXiv:2105.10909