使用迭代式非梯度算法可证明地训练 ReLU 门
机器学习
2022-04-04 v5 信息论
math.IT
机器学习
摘要
本研究展示了在迄今未探索的设定下，训练单个 ReLU 门的可证明保证。我们提出了一种简单的迭代式随机算法，能够在可实现设定下以线性时间训练 ReLU 门，且对数据分布的条件要求比以往此类结果显著更宽松。利用特定的附加矩假设，我们还证明了在针对真实标签的（在线）数据投毒攻击下，使用同一算法训练 ReLU 门时，可首次实现对真实标签生成参数的近似恢复。我们证明了该保证在最坏情况下是近乎最优的，且其恢复真实权重的精度会随攻击概率及其幅度的增加而平缓下降。对于上述可实现与不可实现情形，我们的分析均支持小批量处理，并计算了收敛时间随小批量大小变化的缩放规律。我们通过仿真结果验证了定理，仿真同时也揭示了我们的算法与广受欢迎的 S.G.D. 算法在轨迹上的惊人相似性——而对于 S.G.D. 算法，目前尚无与此类似的保证。
引用
@article{arxiv.2005.04211,
title = {Provable Training of a ReLU Gate with an Iterative Non-Gradient Algorithm},
author = {Sayar Karmakar and Anirbit Mukherjee},
journal= {arXiv preprint arXiv:2005.04211},
year = {2022}
}
备注
25 pages, 5 figures, Accepted to be published in the journal, "Neural Networks"