逻辑回归模型的体积及其在模型选择中的应用

对于具有 $n$ 个观测值和 $q$ 个线性无关协变量的逻辑回归模型，其 Fisher 信息体积被证明下界为 $\pi^q$，上界为 ${n \choose q} \pi^q$。这一结论是通过经典勾股定理和 de Gua 定理的新颖推广证明的，该推广本身具有独立意义。发现体积总是有限的是一项新成果，这意味着体积可以直接解释为模型复杂度的度量。研究表明，体积在设计矩阵 $X$ 为一般情况时是 $X$ 的连续函数，但在一般情况下是不连续的。这意味着具有稀疏设计矩阵的模型可能比邻近模型显著简单，因此由此产生的模型选择准则倾向于稀疏模型。这类似于 $\ell^1$-正则化倾向于稀疏模型拟合的方式，尽管在我们的案例中，这种行为自发地产生于一般原理。最后，研究揭示了逻辑回归模型的自然参数空间与期望参数空间的理想边界之间存在一种特殊的拓扑对偶性。