一种处理共线性的回归建模框架
统计方法学
2023-06-27 v2 统计理论
统计理论
摘要
本研究针对含共线性的 OLS 回归模型 中标准理论与经验建模实践之间一个根本却被忽视的鸿沟。事实上,虽然实践中估计的模型期望其“个体 OLS 估计”具有稳定性与有效性,但 本身无力识别并控制 中的共线性,因此除非从抽样理论视角对 加以控制,否则任何理论(含模型选择过程(MSP))都无法填补此鸿沟。本文首先引入“经验有效建模”(EEM)新概念,提出 EEM 方法(EEM-M)作为给定数据 下两个 MSP 的集成过程。第一个 MSP 仅使用 ,称为 XMSP,预选一类模型 ,其个体 OLS 估计具有无效性受控与共线性受控性质,其中对应的两个控制变量取自各估计的预测标准误。接着,为每模型定义无效性-共线性风险指数,在模型集合上引入偏序以在不使用 的情况下进行比较,并讨论模型的优性与可采纳性。第二个 MSP 为常用的使用 的 MSP,通过 AIC、BIC 等整体评估模型总性能,从 中选优。第三,为实现 XMSP,提出两种算法。
引用
@article{arxiv.2301.03015,
title = {A Modelling Framework for Regression with Collinearity},
author = {Takeaki Kariya and Hiroshi Kurata and Takaki Hayashi},
journal= {arXiv preprint arXiv:2301.03015},
year = {2023}
}
备注
v2: Notation and presentation is changed for better understanding, a section of simulation and empirical analyses added (Sec.5), the proofs of Lemmas and Propositions moved to Appendix