从密码学视角看机器学习中的缓解与检测

本文开启了一项受密码学启发的理论研究,考察机器学习算法在推理阶段针对攻击者所产生的对抗性输入的检测与缓解问题。我们形式化地定义了基于检测的防御(DbD)与基于缓解的防御(DbM)。我们的定义以一个三轮协议的形式呈现,协议双方为资源受限的训练者/防御者与攻击者。攻击者旨在生成能够欺骗训练算法的推理阶段输入。我们定义了正确性、完备性与可靠性性质,以刻画在推理阶段成功防御的同时,不(过度)损害算法在训练分布输入上的性能。我们首先证明,对于机器学习分类任务,实现 DbD 与实现 DbM 是等价的。令人惊讶的是,对于机器学习生成式学习任务而言情况并非如此,因为每个输入存在多个可能的正确输出。我们通过展示两个生成式学习任务来证明 DbD 与 DbM 之间的分离:在这两个任务中,可以实现基于缓解的防御,但可以证明不可能实现基于检测的防御。缓解阶段所使用的计算资源显著少于初始训练算法。在第一个学习任务中,我们以样本复杂度作为资源;在第二个任务中,则以时间复杂度作为资源。第一个结果在基于身份的全同态加密(IB-FHE)、公开可验证的零知识简洁非交互知识论证(zk-SNARK)以及强不可伪造签名存在的假设下成立。第二个结果则假设具有平均情形困难性的不可并行化语言(NPL)、增量可验证计算(IVC)以及 IB-FHE 的存在。