增量宽学习系统在新增节点上的两种岭解
机器学习
2024-06-25 v5 机器学习
摘要
原始的宽学习系统（BLS）在新增节点上的实现及其现有高效实现均假设岭逆中的岭参数 lambda -> 0 以近似广义逆，并计算输出权重的广义逆解。在本文中，我们针对新增节点上的 BLS 提出两种输出权重的岭解，其中不再假设 lambda -> 0，且 lambda 可为任意正实数。所提岭解之一从逆 Cholesky 因子计算输出权重，该因子通过扩展现有的逆 Cholesky 分解被高效更新。另一所提岭解从岭逆计算输出权重，并通过扩展 Greville 方法更新岭逆，Greville 方法是计算分块矩阵广义逆的经典工具。对于所提基于逆 Cholesky 因子的高效岭解，我们还开发了另一种在岭参数 lambda 极小时数值更稳定的实现。基于岭逆的所提岭解与所提高效岭解的数值更稳定实现分别需要与原始 BLS 及现有高效 BLS 相同的复杂度。此外，当比较每次更新的计算复杂性时，所提高效岭解相对原始 BLS 与现有高效 BLS 的加速比分别为 3 和大于 1.67，而当通过数值实验比较总训练时间时，加速比分别为 1.99 - 2.52 和 1.31 - 1.58。另一方面，我们的数值实验表明，BLS 的两种所提岭解均取得了优于原始 BLS 与现有高效 BLS 的测试精度。
引用
@article{arxiv.1911.04872,
title = {Two Ridge Solutions for the Incremental Broad Learning System on Added Nodes},
author = {Hufei Zhu},
journal= {arXiv preprint arXiv:1911.04872},
year = {2024}
}