突击测验！大语言模型能助力逆向工程吗？

大语言模型（如OpenAI的Codex）已在软件领域展现出令人印象深刻的零样本多任务能力，包括代码解释。在这项工作中，我们考察这种能力是否可用于辅助逆向工程。具体而言，我们研究通过提示Codex来识别代码的目的、功能以及重要的变量名或值，即使代码是通过反编译生成的。除了考察模型在回答开放式问题时的响应外，我们设计了一个真/假测验框架来刻画该语言模型的性能。我们对语言模型在程序目的识别和信息提取任务上的实测性能进行了广泛的定量分析：在我们提出的136,260个问题中，它正确回答了72,754个。一个关键结论是，尽管有前景，LLM尚未准备好用于零样本逆向工程。