在线稀疏化准则的近似误差

许多机器学习框架，如资源分配网络、基于核的方法、高斯过程和径向基函数网络，都需要稀疏化方案以适应在线学习范式。为此，人们提出了多种在线稀疏化准则，将模型定义限制在样本的子集上。最著名的准则是（线性）近似准则，它丢弃任何可由已贡献样本良好表示的样本，但该操作具有过高的计算复杂度。文献中已引入几种计算高效的稀疏化准则，如距离、相干性和 Babel 准则。本文提供了一个框架，通过推导近似误差的理论界限，将这些稀疏化准则与样本近似问题联系起来。此外，我们研究了近似任意特征的误差，为上述每种稀疏化准则提出了近似误差的上界。详细描述了两大类特征：经验均值和核主成分分析中的主轴。