通过用户反馈通道攻击神经代码生成系统

神经代码生成系统最近受到关注，以提高开发人员的生产力并加快软件开发速度。通常，这些系统保持预训练的神经模型，并作为服务（例如通过远程 API）向一般用户提供，并包含反馈机制来广泛收集和利用用户对生成代码的反应，即用户反馈。然而，这些反馈的安全影响尚未被探讨。通过系统性研究当前的反馈机制，我们发现反馈使这些系统暴露于反馈数据注入（FDI）攻击。我们讨论了 FDI 攻击的方法，并提出一种预攻击轮廓策略，以推断黑盒环境下针对目标系统的攻击约束。我们展示了两个概念验证示例，利用 FDI 攻击面实现对实际神经代码生成系统的提示注入攻击和后门攻击。攻击者可能操控神经代码生成系统以生成包含漏洞、攻击载荷以及恶意和垃圾信息的代码。我们的发现揭示了反馈机制在神经代码生成系统中的安全影响，为提高其安全性指明了方向。