ChaosMining:低信噪比环境下事后局部归因方法评估基准
机器学习
2024-06-19 v1 人工智能
摘要
在本研究中,我们考察了事后局部归因方法在低信噪比(SNR)领域(现实世界机器学习应用中的常见场景)中,从无关特征中识别具有预测能力的特征的有效性。我们开发了包含符号函数、图像和音频数据的合成数据集,并引入了一个基于{\it (模型 × 归因 × 噪声条件)}三元组的基准。通过对各种从头训练的经典模型进行严格测试,我们获得了关于这些归因方法在多种条件下性能的宝贵见解。基于这些发现,我们对著名的递归特征消除(RFE)算法提出了一种新颖的扩展,增强了其在神经网络中的适用性。我们的实验突显了其在预测和特征选择方面的优势,同时也指出了可扩展性方面的局限性。更多细节和其他次要发现包含在附录中,并附有广泛的讨论。代码和资源可在\href{https://github.com/geshijoker/ChaosMining/}{URL}获取。
引用
@article{arxiv.2406.12150,
title = {ChaosMining: A Benchmark to Evaluate Post-Hoc Local Attribution Methods in Low SNR Environments},
author = {Ge Shi and Ziwen Kan and Jason Smucny and Ian Davidson},
journal= {arXiv preprint arXiv:2406.12150},
year = {2024}
}
备注
19 pages, 10 figures, submission to Neurips 2024