我们能否达成一致？论Rashōmon效应与事后可解释AI的可靠性

Rashōmon 效应对从机器学习模型中导出可靠知识提出了挑战。本研究使用 SHAP 考察了样本量对 Rashōmon 集合中模型解释的影响。在 5 个公开数据集上的实验表明，随着样本量增大，解释逐渐收敛。少于 128 个样本的解释表现出高变异性，限制了可靠知识的提取。然而，模型间的一致性随数据增多而改善，从而形成共识。Bagging 集成通常具有更高的一致性。结果为信任解释所需充足数据提供了指导。低样本下的变异性表明，若无验证，结论可能不可靠。还需在更多模型类型、数据域与解释方法上开展进一步工作。在神经网络及模型特有解释方法中检验收敛性将具有重要意义。本文所探讨的方法指向从模糊模型中引出知识的原则性技术。