通过保持预测的输入最小化探查模型的信号感知能力

本工作探究了用于源代码理解的 AI 模型的信号感知能力。以一个软件漏洞检测用例,我们评估了模型捕捉正确漏洞信号以产生其预测的能力。我们的保持预测的输入最小化(P2IM)方法系统性地将原始源代码缩减为模型维持其预测所需的最小片段。当原始代码中的漏洞在该最小片段中缺失、但模型对二者均预测为存在漏洞时,模型对错误信号的依赖便由此暴露。我们使用提出的新指标——信号感知召回率(Signal-aware Recall, SAR)来度量模型的信号感知能力。我们在多个数据集上针对三种不同的神经网络架构应用了 P2IM。结果显示,采用新指标后模型的召回率从 90 多的高位骤降至 60 以下,凸显出模型在学习其漏洞检测逻辑时很可能摄取了大量噪声或数据集细微特征。尽管模型性能的下降可能被视为一种对抗攻击,但这并非 P2IM 的目标。其意图是以数据驱动的方式通过受控查询揭示黑盒模型的信号感知能力。SAR 的用途是度量与任务无关的模型训练所造成的影响,而非指出召回率指标的缺陷。事实上,在模型真正捕捉到任务特定信号的理想情形下,期望 SAR 与召回率相一致。