FCM-RDpA：基于模糊 C 均值聚类、正则化、DropRule 与 Powerball AdaBelief 的 TSK 模糊回归模型构建
机器学习
2022-11-15 v1 人工智能
摘要
为有效优化用于回归问题的 Takagi-Sugeno-Kang (TSK) 模糊系统，近期提出了一种带正则化、DropRule 和 AdaBound 的小批量梯度下降（MBGD-RDA）算法。本文进一步提出 FCM-RDpA，其通过以模糊 c 均值聚类替换规则初始化中的网格划分方法，并以 Powerball AdaBelief 替换 AdaBound，来改进 MBGD-RDA；Powerball AdaBelief 集成了近期提出的 Powerball 梯度与 AdaBelief，以进一步加速并稳定参数优化。在 22 个具有不同规模与维度的回归数据集上的大量实验验证了 FCM-RDpA 相对于 MBGD-RDA 的优越性，尤其在特征维度较高时。我们还提出了一种附加方法 FCM-RDpAx，通过在规则的前件与后件中使用增广特征来进一步改进 FCM-RDpA。
引用
@article{arxiv.2012.00060,
title = {FCM-RDpA: TSK Fuzzy Regression Model Construction Using Fuzzy C-Means Clustering, Regularization, DropRule, and Powerball AdaBelief},
author = {Zhenhua Shi and Dongrui Wu and Chenfeng Guo and Changming Zhao and Yuqi Cui and Fei-Yue Wang},
journal= {arXiv preprint arXiv:2012.00060},
year = {2022}
}