卷积神经网络中高效的逐样本梯度计算
机器学习
2020-11-17 v1 计算机视觉与模式识别
机器学习
摘要
深度学习框架利用 GPU 高效地对大量训练样本组成的批次执行大规模并行计算。然而，对于某些任务，人们可能希望执行逐样本计算，例如使用逐样本梯度来评估每个样本独有的感兴趣量。一个值得注意的应用来自差分隐私领域，其中必须对逐样本梯度进行范数限制，以限制每个样本对聚合批次梯度的影响。在这项工作中，我们讨论了如何在卷积神经网络（CNNs）中高效计算逐样本梯度。我们通过在大小不同的 CNN 上执行几步差分隐私训练来比较现有策略。我们还引入了一种新的逐样本梯度计算策略，结果表明该策略在模型架构和训练方式不同时具有优势。这是使 CNN 的差分隐私训练走向实用化的第一步。
引用
@article{arxiv.1912.06015,
title = {Efficient Per-Example Gradient Computations in Convolutional Neural Networks},
author = {Gaspar Rochette and Andre Manoel and Eric W. Tramel},
journal= {arXiv preprint arXiv:1912.06015},
year = {2020}
}