基于累积局部效应使用机器学习与经典技术进行统计推断
机器学习
2024-02-14 v4 人工智能
摘要
累积局部效应（ALE）是一种与模型无关的全局解释方法，用于黑盒机器学习（ML）算法结果的解读。基于 ALE 进行统计推断至少面临三个挑战：确保 ALE 分析的可靠性（尤其在小型数据集情境下）；直观刻画变量在 ML 中的整体效应；以及从 ML 数据分析中做出稳健推断。为此，我们引入基于 ALE 的统计推断创新工具与技术，建立适配数据集规模的 bootstrap 置信区间，并提出 ALE 效应量度，在结果变量尺度与归一化尺度上直观指示效应。此外，我们展示了如何利用这些工具做出可靠的统计推断，以反映 ALE 所擅长的灵活模式，相关实现可在 R 语言的 'ale' 包中获取。本工作推进了关于 ALE 及其在 ML 与统计分析中适用性的讨论，为该领域普遍挑战提供了实用解决方案。
引用
@article{arxiv.2310.09877,
title = {Statistical inference using machine learning and classical techniques based on accumulated local effects (ALE)},
author = {Chitu Okoli},
journal= {arXiv preprint arXiv:2310.09877},
year = {2024}
}
备注
1. P-values have been added to the analysis. 2. Neural network demonstration replaced with random forest. 3. Effects plot shows NALED band based on p-values