私有增量回归

数据正由现代数据源持续生成，机器学习近期的一个挑战是开发在增量（流式）环境下表现良好的技术。本文研究私有机器学习问题，其中与实践常见情况一样，数据不是一次性给出，而是随时间增量到达。我们引入私有增量ERM和私有增量回归问题，其总体目标是在差分隐私下始终为已观测历史维护一个良好的经验风险最小化器。我们的第一个贡献是将私有批量ERM机制通用转换为私有增量ERM机制，基于定期调用私有批量ERM程序的简单思想。我们将此构造作为比较基线。然后我们为私有增量回归问题提供两种机制。第一种机制基于私有构造带噪声的增量梯度函数，然后在每个时间步用于修改后的投影梯度过程。该机制具有约$\approx\sqrt{d}$的超额经验风险，其中$d$为数据维度。尽管根据[Bassily et al. 2014]的结果该界在最坏情况下是紧的，我们表明输入和约束集的某些几何性质可用于为某些有趣的回归问题推导显著更好的结果。