ROS 回归：集成正则化与最优尺度回归

在本文中，我们结合了普通最小二乘回归的两个重要扩展：正则化和最优尺度。最优尺度（有时也称为最优评分）最初是为分类数据开发的，该过程为类别寻找对回归模型最优的量化，即最大化多重相关。尽管最优尺度方法最初是为类别数量有限的变量开发的，但连续变量的最优变换是其特例。我们将考虑多种变换类型；通常对分类变量使用阶跃函数，对连续变量使用平滑（样条）函数。这两类函数都可以限制为单调的，以保留数据中的序数信息。除最优尺度外，还将考虑三种正则化方法：岭回归、Lasso 和弹性网络。所得方法称为 ROS 回归（正则化最优尺度回归）。我们将证明基本的 OS 算法为正则化回归系数提供了直接且高效的估计，自动给出了组 Lasso 和分块稀疏回归，并通过单调性性质对其进行了扩展。我们将展示最优尺度线性化了预测变量与结果之间的非线性关系，并改善了预测变量相关矩阵的条件，平均而言增加了预测变量的条件独立性。文中提及了回归系数或类别量化的正则化替代选项，并提供了扩展示例。关键词：分类数据，最优尺度，条件独立性，阶跃函数，样条，单调变换，正则化，Lasso，弹性网络，组 Lasso，分块稀疏回归。