面向回归问题优化 TSK 模糊系统：带正则化、DropRule 与 AdaBound 的小批量梯度下降 (MBGD-RDA)
机器学习
2019-12-03 v4 人工智能
神经与进化计算
机器学习
摘要
Takagi-Sugeno-Kang (TSK) 模糊系统是处理回归问题非常有用的机器学习模型。然而，据我们所知，尚不存在一种高效且有效的训练算法，既能保证其泛化性能，又能使其处理大数据。受 TSK 模糊系统与神经网络之间联系的启发，我们将三种强大的神经网络优化技术，即小批量梯度下降、正则化和 AdaBound，推广至 TSK 模糊系统，并提出了三种专门用于训练 TSK 模糊系统的新技术（DropRule、DropMF 和 DropMembership）。我们的最终算法——带正则化、DropRule 与 AdaBound 的小批量梯度下降（MBGD-RDA）——能够在训练 TSK 模糊系统时实现快速收敛，并在测试时获得优越的泛化性能。它可用于任意规模数据集上 TSK 模糊系统的训练；但在大数据集上尤为有用，目前此类数据集尚无其他高效训练算法。
引用
@article{arxiv.1903.10951,
title = {Optimize TSK Fuzzy Systems for Regression Problems: Mini-Batch Gradient Descent with Regularization, DropRule and AdaBound (MBGD-RDA)},
author = {Dongrui Wu and Ye Yuan and Yihua Tan},
journal= {arXiv preprint arXiv:1903.10951},
year = {2019}
}