无稀疏模型的稀疏且可靠解释
机器学习
2024-03-12 v3 机器学习
摘要
即使模型在全局上不稀疏，对该模型所做决定的描述也可能准确且忠实地仅由少数特征组成。例如，大额贷款申请可能因申请人没有信用记录而被拒绝，而这会淹没任何对其信用价值的证据。在本工作中，我们引入稀疏解释价值（Sparse Explanation Value, SEV），作为衡量机器学习模型稀疏性的新方法。在上述贷款拒绝案例中，SEV 为 1，因为仅有一个因素足以解释贷款被拒的原因。SEV 是决策稀疏性的度量而非整体模型稀疏性，我们能够证明许多机器学习模型——即便它们在全局上不稀疏——实际上具有较低的决策稀疏性，正如由 SEV 测度所示。SEV 定义为超立方体上的移动，允许其在 various model classes 中一致定义，同时通过反映实际约束的移动限制。我们提出了在不牺牲准确性的前提下降低 SEV 的算法，提供稀疏且完全忠实的解释，即便没有全局稀疏模型亦可如此。
引用
@article{arxiv.2402.09702,
title = {Sparse and Faithful Explanations Without Sparse Models},
author = {Yiyang Sun and Zhi Chen and Vittorio Orlandi and Tong Wang and Cynthia Rudin},
journal= {arXiv preprint arXiv:2402.09702},
year = {2024}
}
备注
Accepted in AISTATS 2024