面向增量学习的宽度学习系统岭解低内存实现
机器学习
2021-05-25 v2
摘要
近期提出的现有低内存 BLS 实现避免了存储和求逆大矩阵的需求，以实现内存的高效使用。然而，现有低内存 BLS 实现以测试精度为代价换取内存高效使用，因为它在增量学习过程中不再能获得输出权重的广义逆或岭解，且无法在原始 BLS 所用的极小岭参数下工作。相应地，有必要开发低内存 BLS 实现，使其能在极小岭参数下工作，并在增量学习过程中计算输出权重的广义逆或岭解。本文中，我们首先通过对每次递归中一批输入或节点进行简单处理，为近期提出的递归与平方根 BLS 算法在新增输入上、以及近期提出的平方根 BLS 算法在新增节点上，给出低内存实现。由于递归 BLS 实现包含逆矩阵的递归更新，在大量迭代后可能引入数值不稳定性，且在与所提新增节点上的平方根 BLS 算法低内存实现协作时需额外计算负载将逆矩阵分解为 Cholesky 因子，我们仅改进新增输入与节点上平方根 BLS 算法的低内存实现，以提出平方根 BLS 算法的完整低内存实现。所有所提低内存 BLS 实现均在增量学习过程中计算输出权重的岭解，且多数能在极小岭参数下工作。
引用
@article{arxiv.2105.10424,
title = {Low-Memory Implementations of Ridge Solutions for Broad Learning System with Incremental Learning},
author = {Hufei Zhu},
journal= {arXiv preprint arXiv:2105.10424},
year = {2021}
}