一种带特征选择的在线监督学习新框架

当前的在线学习方法相较于离线对应方法存在收敛速率较低及选择重要特征能力有限等问题。本文提出一种基于滚动平均的在线学习新框架。许多流行的离线正则化方法，如 Lasso、弹性网络（Elastic Net）、极小极大凹惩罚（MCP）与退火特征选择（FSA），均在此框架中引入其在线版本。我们证明了所提在线方法与其离线对应方法的等价性，并针对该框架中部分方法给出了新的理论真支撑恢复与收敛保证。数值实验表明，所提方法相较传统在线与离线算法具有更高的真支撑恢复精度与更快的收敛速率。最后给出在大型数据集上的应用，其中所提框架再次展现出相较于流行在线与离线算法的竞争性结果。