数据驱动系统中可解释 AI 的隐私影响

机器学习（ML）模型功能强大，但缺乏可解释性。这种缺乏透明度，常被称为 ML 模型的黑盒本质，削弱了信任，并催生了增强其可解释性的努力。可解释 AI（XAI）技术通过提供框架和方法来解释这些复杂模型的内部决策过程。诸如 Counterfactual Explanations（CF）和 Feature Importance 等技术在实现这一目标方面发挥着关键作用。此外，高质量且多样化的数据始终是稳健可信 ML 应用的基础。在许多应用中，用于训练 ML 和 XAI 解释器的数据包含敏感信息。在此背景下，可以采用诸如差分隐私等诸多隐私-preserving 技术来保护数据中的敏感信息。随后，XAI 与隐私解决方案之间出现了冲突，因为它们的目标相互矛盾。由于 XAI 技术提供模型行为的推理，解释会透露关于 ML 模型的信息，如其 decision boundaries、特征的值或深度学习模型的梯度。攻击者可以利用这些解释发起隐私侵犯攻击，包括 model extraction、inference 和 membership attacks。这一困境凸显了在理解 ML 决策与保护隐私之间寻找恰当平衡的挑战。