量化机器学习中的（超）参数泄露

机器学习模型广泛用于各种多媒体应用，并以黑盒服务的形式在云上按查询次数向用户提供。此类黑盒模型对攻击者具有商业价值，使其易受提取攻击以逆向工程专有模型，从而侵犯模型隐私与知识产权。此处，攻击者首先通过侧信道泄露提取模型架构或超参数，随后通过在合成数据集上训练重建的架构来窃取目标模型的功能。尽管文献中提出的攻击是经验性的，但仍需一个理论框架来衡量此类提取攻击下的信息泄露。为此，本工作提出一种新颖的概率框架 Airavata，用于估计此类模型提取攻击中的信息泄露。该框架捕捉到以下事实：在推断模型超参数以及窃取目标模型功能训练过程的随机性下，由于实验不确定性，提取精确目标模型是困难的。具体而言，我们使用贝叶斯网络基于主观概率概念来捕捉各种提取攻击下估计目标模型的不确定性。我们在文献中常采用的不同攻击者假设下验证所提框架，以推理攻击效能。这提供了一个实用工具，用于推断关于提取黑盒模型的可操作细节，并有助于识别能从目标模型中提取最多知识（或泄露信息）的最佳攻击组合。