基于近似的线性回归理论

本文的目标是完全基于近似提供一种线性回归理论。我们将论证，无论是频率学派还是贝叶斯学派，基于标准线性回归模型的理论均已失败，这种失败源于对模型持有一种“假设（或揭示？）的真理”（John Tukey）的态度。这反映在统计推断的语言中，涉及真理的概念，例如有效性、一致性和假设检验。本文的动机是从线性回归的理论和实践中移除“真实”一词，并用“近似”取而代之。所考虑的近似是最小二乘近似。如果一个近似不包含无关协变量，则称其为有效近似。这通过高斯 P 值 (Gaussian P-value) 的概念进行操作化定义，即纯高斯噪声在最小二乘意义上优于该协变量的概率。文中给出的精确定义直观且仅需四个简单方程。在此基础上，有效近似是指所有高斯 P 值均小于统计学家指定的阈值 $p_0$（本文默认值为 0.01）的近似。这种近似方法不仅简单得多，而且远远优于标准的基于模型的方法。我们将使用六个真实数据集来证明这一点，其中四个来自高维回归，两个来自向量自回归。高斯 P 值的简单性和优越性均源于其普遍的确切性和有效性。这与标准的 F P 值形成鲜明对比，后者仅对精心设计的模拟有效。本文收录了 John Tukey 一篇未发表论文的摘录，题为《与基于数据的推断的诚实描述相关的问题：部分参照 Laurie Davies 的论文》。