木马博弈：一种次模拜占庭方法

实际部署的机器学习模型已被证明在训练期间易受木马攻击。尽管已提出许多检测机制，但强大的自适应攻击者可被证明能有效地对抗它们。本文中，我们旨在回答关于智能自适应敌手的问题：（i）强攻击者可被植入木马的最小实例数量是多少？以及（ii）此类攻击者是否可能绕过强检测机制？我们提供了对抗能力与此类模型中敌手与检测机制间战略交互的分析刻画。我们从可嵌入木马触发器的输入数据集比例来刻画敌手能力。我们表明损失函数具有次模结构，这导致设计出计算高效的算法以确定该比例并具有可证明的最优性界。我们提出一种次模木马（Submodular Trojan）算法来确定注入木马触发器的最小样本比例。为规避对木马模型的检测，我们将敌手与木马检测机制间的战略交互建模为双人博弈。我们表明敌手以概率1赢得博弈，从而绕过检测。我们通过证明遵循极小极大（MM）木马算法时木马模型与干净模型的输出概率分布相同来确立这一点。我们在MNIST、CIFAR-10和EuroSAT数据集上对我们的算法进行了广泛评估。结果表明：（i）利用次模木马算法，敌手仅需将木马触发器嵌入极少量样本即可在木马与干净样本上均达到高准确率；（ii）MM木马算法产生的训练木马模型以概率1规避检测。