再探对抗重编程
机器学习
2022-10-12 v2
摘要
由 Elsayed、Goodfellow 和 Sohl-Dickstein 提出的对抗重编程旨在不修改神经网络权重的情况下，通过操纵其输入来将网络重新用于执行不同的任务。我们证明，具有随机权重的双层 ReLU 神经网络在宽度不大于输入维度时，可被对抗重编程以在超立方体顶点上的 Bernoulli 数据模型上实现任意高的准确率。我们还大幅加强了 Phuong 与 Lampert 近期关于梯度流方向收敛的结果，并作为推论得到：在正交可分离数据集上训练双层 ReLU 神经网络会导致其对抗重编程失效。我们通过实验支持这些理论结果，表明只要批归一化层被适当初始化，即便具有随机权重的未训练网络也易受对抗重编程影响。这与近期若干工作认为未训练网络无法以任何可靠程度进行对抗重编程的观察相反。
引用
@article{arxiv.2206.03466,
title = {Adversarial Reprogramming Revisited},
author = {Matthias Englert and Ranko Lazic},
journal= {arXiv preprint arXiv:2206.03466},
year = {2022}
}