Ruby Teaming: 利用记忆改进质量多样性搜索以实现自动化红队测试
计算与语言
2024-06-18 v1
摘要
我们提出Ruby Teaming方法，该方法通过引入记忆缓存作为其第三个维度，改进了Rainbow Teaming。记忆维度为变异器提供线索，以生成更高质量的提示，无论是在攻击成功率（ASR）还是质量多样性方面。Ruby Teaming生成的提示存档的攻击成功率为74%，比基线高出20%。在质量多样性方面，Ruby Teaming在香农均匀度指数（SEI）和辛普森多样性指数（SDI）上分别比Rainbow Teaming高出6%和3%。
引用
@article{arxiv.2406.11654,
title = {Ruby Teaming: Improving Quality Diversity Search with Memory for Automated Red Teaming},
author = {Vernon Toh Yan Han and Rishabh Bhardwaj and Soujanya Poria},
journal= {arXiv preprint arXiv:2406.11654},
year = {2024}
}