面向新增输入的增量宽学习系统的两种高效岭解
机器学习
2023-01-26 v5 机器学习
摘要
本文提出递归与平方根 BLS 算法以改进原 BLS 处理新增输入，二者分别利用岭逆中 Hermitian 矩阵的逆与逆 Cholesky 因子来更新岭解。递归 BLS 通过矩阵求逆引理更新逆，而平方根 BLS 通过将其乘以一个上三角中间矩阵来更新上三角逆 Cholesky 因子。当新增的 p 个训练样本多于网络中总的 k 个节点时，即 p>k，采用矩阵和之逆以进行更小规模的矩阵求逆或逆 Cholesky 分解。对于数据并行的分布式 BLS，我们引入平方根 BLS 的并行实现，其由逆 Cholesky 分解的并行实现推导而来。基于带岭回归的广义逆的原 BLS 假设岭参数 lamda->0 于岭逆中。当 lambda->0 不满足时，在 MNIST 与 NORB 数据集上的数值实验表明，两种提出的岭解均提升了原 BLS 的测试精度，且提升随 lambda 增大而更显著。另一方面，相较于原 BLS，两种提出的 BLS 算法在理论上所需复杂度更低，并在 MNIST 数据集的仿真中明显更快。当 p > k 时，递归与平方根 BLS 算法相对于原 BLS 的总训练时间加速比分别为 4.41 与 6.92；当 p < k 时分别为 2.80 与 1.59。
引用
@article{arxiv.1911.07292,
title = {Two Efficient Ridge Solutions for the Incremental Broad Learning System on Added Inputs},
author = {Hufei Zhu},
journal= {arXiv preprint arXiv:1911.07292},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:1911.04872