关联收缩以提升回归模型中交互效应估计
统计方法学
2023-09-26 v1 机器学习
摘要
我们处理统计学中的一个经典问题:向回归模型添加双向交互项。随着协变量维度以二次方式增长,我们开发了一种能良好适应此增长、同时提供准确估计与恰当推断的估计量。现有策略通过仅允许相关主效应之间的交互来克服维度问题。基于这一理念,我们利用局部收缩模型在两类效应间实现较柔性的关联。我们通过经验表明,在主效应及其交互的收缩程度上借用强度可强烈改善回归系数的估计。此外,我们评估了该模型用于推断的潜力,而推断对选择策略而言 notoriously 困难。我们使用大规模队列数据提供真实的说明与评估,并与其他方法比较。在含许多交互项的回归模型中,变量重要性的评估并非易事。因此,我们推导了Shapley值的新解析公式,从而能快速评估个体特定的变量重要性分数及其不确定性。最后,虽不以预测为目标,我们仍表明即便在较大样本量下,我们的模型也可与随机森林等更先进的机器学习器极具竞争力。我们的方法在RStan中的实现相当直接,允许针对特定需求调整。
引用
@article{arxiv.2309.13998,
title = {Linked shrinkage to improve estimation of interaction effects in regression models},
author = {Mark A. van de Wiel and Matteo Amestoy and Jeroen Hoogland},
journal= {arXiv preprint arXiv:2309.13998},
year = {2023}
}
备注
28 pages, 18 figures