基于共识优化的协作式隐私保护机器教学
机器学习
2019-05-09 v1 机器学习
摘要
在本工作中，我们定义了具有多个分布式教师的协作式隐私保护机器教学范式。我们聚焦于共识超级教学。其旨在组织分布式教师，从教师所持有数据中联合选出一个紧凑且信息丰富的训练子集，以使学习器学习得更好。挑战来自三个方面。首先，最先进的基于池的超级教学方法采用混合整数非线性规划(MINLP)，其不能很好地扩展到极大数据集。其次，在协作阶段将教师的数据访问限制为仅其自身数据以缓解隐私泄露是值得期待的。最后，教学协作应具备通信高效性，因为大通信开销会导致教师间的同步延迟。为应对这些挑战，我们将协作教学表述为最小化教学风险的共识与隐私保护优化过程。我们从理论上证明了教师间协作对于改善学习器学习的必要性。此外，我们表明所提方法享有类似于自适应Lasso的Oracle性质的性质。实证研究表明，我们的教学方法能以高速给出显著更准的教学结果，而基于非协作MINLP的超级教学在计算上变得 prohibitively 昂贵。
引用
@article{arxiv.1905.02796,
title = {Collaborative and Privacy-Preserving Machine Teaching via Consensus Optimization},
author = {Yufei Han and Yuzhe Ma and Christopher Gates and Kevin Roundy and Yun Shen},
journal= {arXiv preprint arXiv:1905.02796},
year = {2019}
}