可解释概念基内存推理
计算机视觉与模式识别
2024-07-31 v2 人工智能
密码学与安全
机器学习
摘要
深度学习系统决策过程的缺乏透明度是现代人工智能中的重大挑战，因为它削弱了用户依赖和验证这些系统的能力。为此，概念瓶颈模型（CBM）通过将可解释概念纳入深度学习架构取得了 significant 进展。这一方法允许将预测追溯到用户能够理解且可能干预的特定概念模式。然而，现有CBM的任务预测器并不完全可解释，阻碍了在部署前对其决策过程进行彻底分析和形式验证，从而引发重大的可靠性顾虑。为弥合这一差距，我们引入概念基内存推理器（Concept-based Memory Reasoner, CMR），一种新型CBM，旨在提供人类可理解且可形式验证的任务预测过程。我们的做法是将每个任务预测建模为对可学习逻辑规则内存的神经选择机制，随后对所选规则进行符号评估。显式内存和符号评估的存在允许领域专家检查和形式验证感兴趣的特定全局属性的有效性。实验结果表明，CMR在准确率-可解释性权衡方面优于最先进的CBM，发现与真实答案一致的逻辑规则，支持规则干预，并允许部署前验证。
引用
@article{arxiv.2407.15526,
title = {Synthetic Image Learning: Preserving Performance and Preventing Membership Inference Attacks},
author = {Eugenio Lomurno and Matteo Matteucci},
journal= {arXiv preprint arXiv:2407.15526},
year = {2024}
}