假设检验与机器学习：基于 Cohen's f2 的深度人工神经网络变量效应解释
统计方法学
2023-12-25 v1 人工智能
机器学习
机器学习
摘要
深度人工神经网络在许多领域展现出高预测性能，但其无法进行统计推断，且黑箱操作过于复杂而难以被人理解。由于在科学实验与研究模型中，假定某种关系存在往往比预测更为重要，机器学习的使用远少于推断统计。此外，统计学要求通过展示所研究现象的量级来改进理论检验。本文扩展现有 XAI（可解释人工智能）方法，并开发了面向机器学习的模型无关假设检验框架。首先，调整 Fisher 变量置换算法以计算等价于 OLS（普通最小二乘）回归模型中 Cohen's f2 的效应量度量。其次，将 Mann-Kendall 单调性检验与 Theil-Sen 估计量应用于 Apley 的累积局部效应图，以确定变量的影响方向与统计显著性。该方法的实用性通过人工数据集与一项社会调查以及 Python sandbox 实现得以展示。
引用
@article{arxiv.2302.01407,
title = {Hypothesis Testing and Machine Learning: Interpreting Variable Effects in Deep Artificial Neural Networks using Cohen's f2},
author = {Wolfgang Messner},
journal= {arXiv preprint arXiv:2302.01407},
year = {2023}
}
备注
16 pages, 2 figures, 4 tables