Lasso 类型正则化器的经验贝叶斯估计：关于自动相关性确定的分析

本文聚焦于具有非共轭稀疏诱导正则化器（如 lasso 和 group lasso）的线性回归模型。尽管经验贝叶斯方法使我们能够估计正则化参数，但关于这些估计器属性的许多知识仍不为人所知。特别是关于自动相关性确定（ARD）机制发生的特定条件方面仍未得到解释。本文推导了具有有限参数的 group lasso 正则化线性回归模型的经验贝叶斯估计器。我们证明，在特定条件下，这些估计器会发散，从而引出 ARD 机制。我们还证明了经验贝叶斯方法在一般正则化线性回归模型中可以产生 ARD 机制，并阐明了诸如 ridge、lasso 和 group lasso 等模型在何处可以实现这一机制的条件。