I-SAFE：用于科学AI模型结构审计的Wasserstein一致性指标
机器学习
2026-05-22 v1
摘要
深度学习模型在科学预测任务中越来越受到青睐，人们常将卓越的基准性能解释为模型在科学意义上的行为的证据。然而，这种解释是脆弱的，因为模型可能利用捷径特征、数据集特定的常规性或分布偏差，这些特征在保留的测试数据上是可预测的，但不符合领域相关的结构。为解决此限制，我们引入了SCI-SAFE(Interventional Secure, Accurate, Fair and Explainable)框架，这是一个以Wasserstein一致性指标(Wasserstein Coherence Metric, WCM)为中心的科学AI模型的后置分布审计框架。给定一个训练好的黑箱预测器和一个编码任务相关输入结构的外部结构性先验，SCI-SAFE在结构引导的输入扰动下评估模型的原始输出。该审计通过三个互补指标衡量输出分布的一致性：用于位置级一致性的分位数指标(QBM)，用于序数一致性的WCM，以及用于形状一致性的平移不变WCM变体。我们在药物-靶点相互作用(DTI)预测中实例化SCI-SAFE，采用Davis酶基准、KLIFS(Kinase-Ligand Interaction Fingerprints and Structures)结合口袋注释，以及三个基于序列的DTI模型：DeepConvDTI、DeepDTA和TAPB。尽管这些模型在可预测范围内operating comparable，SCI-SAFE揭示了显著不同的分布响应轮廓，这一区别在基于准确率的评估中是不可见的。该框架是模型无关的，适用于任何输入可分解且可用外部先验的领域。
引用
@article{arxiv.2605.21731,
title = {I-SAFE: Wasserstein Coherence Metrics for Structural Auditing of Scientific AI Models},
author = {Barbara Tarantino and Gennaro Auricchio and Paolo Giudici},
journal= {arXiv preprint arXiv:2605.21731},
year = {2026}
}