中文

一种处理共线性的回归建模框架

统计方法学 2023-06-27 v2 统计理论 统计理论

摘要

本研究针对含共线性的 OLS 回归模型 y=Xβ+u\boldsymbol{y}=\boldsymbol{X\beta}+\boldsymbol{u} 中标准理论与经验建模实践之间一个根本却被忽视的鸿沟。事实上,虽然实践中估计的模型期望其“个体 OLS 估计”具有稳定性与有效性,但 y\boldsymbol{y} 本身无力识别并控制 X\boldsymbol{X} 中的共线性,因此除非从抽样理论视角对 X\boldsymbol{X} 加以控制,否则任何理论(含模型选择过程(MSP))都无法填补此鸿沟。本文首先引入“经验有效建模”(EEM)新概念,提出 EEM 方法(EEM-M)作为给定数据 (yo,X)(\boldsymbol{y^o,X}) 下两个 MSP 的集成过程。第一个 MSP 仅使用 X\boldsymbol{X},称为 XMSP,预选一类模型 \scrD\scr{D},其个体 OLS 估计具有无效性受控与共线性受控性质,其中对应的两个控制变量取自各估计的预测标准误。接着,为每模型定义无效性-共线性风险指数,在模型集合上引入偏序以在不使用 yo\boldsymbol{y^o} 的情况下进行比较,并讨论模型的优性与可采纳性。第二个 MSP 为常用的使用 (yo,X)(\boldsymbol{y^o,X}) 的 MSP,通过 AIC、BIC 等整体评估模型总性能,从 \scrD\scr{D} 中选优。第三,为实现 XMSP,提出两种算法。

关键词

引用

@article{arxiv.2301.03015,
  title  = {A Modelling Framework for Regression with Collinearity},
  author = {Takeaki Kariya and Hiroshi Kurata and Takaki Hayashi},
  journal= {arXiv preprint arXiv:2301.03015},
  year   = {2023}
}

备注

v2: Notation and presentation is changed for better understanding, a section of simulation and empirical analyses added (Sec.5), the proofs of Lemmas and Propositions moved to Appendix