所见即所得：基于分布泛化的深度学习方法论
机器学习
2022-10-19 v2 人工智能
密码学与安全
计算机视觉与模式识别
机器学习
摘要
在训练时与测试时具有相似的行为——我们称之为“所见即所得”(WYSIWYG)性质——是机器学习中所期望的。然而，使用标准随机梯度下降(SGD)训练的模型不一定具有此性质，因为它们在鲁棒性或子群性能等复杂行为上可能在训练时与测试时存在巨大差异。相比之下，我们证明差分隐私(DP)训练可证明地确保高水平的 WYSIWYG 性质，我们使用分布泛化的概念对其加以量化。应用这一联系，我们引入了通过将对泛化的关注简化为对优化的关注来设计深度学习新方法的概念工具：为缓解测试时不期望的行为，可证明只需在训练数据上缓解该行为即可。通过应用这一绕过 SGD“病态”的新颖设计原则，我们构建了在多个分布鲁棒性应用中与 SOTA 竞争的简单算法，显著改善了 DP-SGD 的隐私与差异影响之间的权衡，并缓解了对抗训练中的鲁棒过拟合。最后，我们还改进了关联 DP、稳定性与分布泛化的理论界。
引用
@article{arxiv.2204.03230,
title = {What You See is What You Get: Principled Deep Learning via Distributional Generalization},
author = {Bogdan Kulynych and Yao-Yuan Yang and Yaodong Yu and Jarosław Błasiok and Preetum Nakkiran},
journal= {arXiv preprint arXiv:2204.03230},
year = {2022}
}
备注
First two authors contributed equally. To appear in NeurIPS 2022