中文

BinarySelect:提升黑盒攻击研究的可及性

密码学与安全 2024-12-17 v1 计算与语言

摘要

对抗文本攻击研究有助于测试 NLP 模型的鲁棒性,然而,Transformer 的兴起大幅增加了测试攻击所需的时间。当研究人员无法获取充足资源(如 GPU)时尤为如此。这可能会阻碍攻击研究,因为为攻击修改一个样本可能需要对模型进行数百次查询,黑盒攻击尤其如此。这些攻击通常每次移除一个 token 以寻找理想的更改对象,一开始就需要 nn 次查询(文本长度)。我们提出了一种更高效的选择方法 BinarySelect,该方法结合了二分搜索与攻击选择方法,大幅减少了找到 token 所需的查询次数。我们发现,与 nn 次查询相比,BinarySelect 只需 log2(n)2\text{log}_2(n) * 2 次查询即可找到第一个 token。我们还在 3 个数据集上针对 5 个分类器的攻击设置中测试了 BinarySelect,并发现查询次数节省与攻击有效性之间存在可行的权衡。例如,在 Yelp 数据集上,查询次数减少了 32%(少 72 次),而攻击有效性仅下降 5 个百分点。我们相信 BinarySelect 能帮助未来的研究人员更高效地研究对抗攻击与黑盒问题,并为资源较少的研究人员打开了大门。

关键词

引用

@article{arxiv.2412.10617,
  title  = {BinarySelect to Improve Accessibility of Black-Box Attack Research},
  author = {Shatarupa Ghosh and Jonathan Rusert},
  journal= {arXiv preprint arXiv:2412.10617},
  year   = {2024}
}

备注

Accepted to COLING 2025, 17 pages, 5 figures, 11 tables