从黑盒二元分类器中提取 PAC 决策树：基于 BERT 语言模型的性别偏见案例研究
人工智能
2025-10-08 v2 机器学习
摘要
决策树是一种流行的机器学习方法，以其固有的可解释性而闻名。在可解释 AI 中，决策树可以作为复杂黑盒 AI 模型的代理模型，或作为此类模型部分行为的近似。该方法的一个关键挑战是确定提取的决策树在多大程度上准确表示了原始模型，以及作为其行为近似的可信程度。在这项工作中，我们研究使用概率近似正确（PAC）框架为从 AI 模型中提取的决策树提供保真度的理论保证。基于 PAC 框架的理论结果，我们调整了决策树算法以确保在特定条件下具备 PAC 保证。我们专注于二元分类，并进行了实验，从基于 BERT 的语言模型中提取具有 PAC 保证的决策树。我们的结果表明这些模型中存在职业性别偏见。
引用
@article{arxiv.2412.10513,
title = {Extracting PAC Decision Trees from Black Box Binary Classifiers: The Gender Bias Case Study on BERT-based Language Models},
author = {Ana Ozaki and Roberto Confalonieri and Ricardo Guimarães and Anders Imenes},
journal= {arXiv preprint arXiv:2412.10513},
year = {2025}
}
备注
This is a revision of the version published at AAAI 2025. We fixed an issue in Theorem 8 and run again all the experiments. We also fixed small grammar mistakes found while producing this revised version