模型保护的多任务学习
机器学习
2019-07-03 v3 密码学与安全
机器学习
摘要
多任务学习（MTL）指同时学习多个相关任务的范式。相反，在单任务学习（STL）中，每个单独任务是独立学习的。MTL通常能带来更好的训练模型，因为它们可利用相关任务间的共性。然而，由于MTL算法可能在不同任务间“泄露”来自不同模型的信息，MTL带来了潜在的安全风险。具体而言， adversary 可能通过一个任务参与MTL过程，从而获取另一任务的模型信息。先前提出的隐私保护MTL方法保护的是数据实例而非模型，且其中一些方法相比STL方法表现欠佳。本文中，我们提出一种隐私保护MTL框架，通过对模型矩阵的协方差矩阵加扰，防止每个模型的信息泄露到其他模型。我们研究了两种流行的MTL方法作为实例，即学习模型矩阵的低秩与组稀疏模式。我们的算法可保证不逊于STL方法。我们的方法基于差分隐私工具构建，提供了隐私保证、效用界，并考虑了异构隐私预算。实验表明，在提出的模型保护问题上，我们的算法优于现有隐私保护MTL方法构建的基线方法。
引用
@article{arxiv.1809.06546,
title = {Model-Protected Multi-Task Learning},
author = {Jian Liang and Ziqi Liu and Jiayu Zhou and Xiaoqian Jiang and Changshui Zhang and Fei Wang},
journal= {arXiv preprint arXiv:1809.06546},
year = {2019}
}
备注
Supplemental materials are attached at the end of the main paper