面向高维分类问题的集成特征选择与规则提取的自适应神经模糊系统
机器学习
2022-01-11 v1 人工智能
摘要
模糊或神经模糊系统的一大局限在于无法处理高维数据集。这主要源于 T 范数（尤其是乘积或最小值及其较软版本）的使用。因此，鲜有工作处理维度超过百左右的数据库。本文提出一种可处理维度甚至超过 7000 的数据集的神经模糊框架！在此背景下，我们提出自适应 softmin（Ada-softmin），有效克服现有模糊系统处理高维问题时出现的“数值下溢”与“伪最小值”缺陷。我们称之为自适应 Takagi-Sugeno-Kang（AdaTSK）模糊系统。随后我们使 AdaTSK 系统以集成方式执行特征选择与规则提取。为此，引入一种新颖门函数并仅嵌入于后件部分，可在两个连续学习阶段确定有用特征与规则。不同于常规模糊规则库，我们设计增强模糊规则库（En-FRB），其维持充足规则但不会导致规则数随维度呈指数增长（此为模糊神经网络典型现象）。该集成特征选择与规则提取的 AdaTSK（FSRE-AdaTSK）系统含三个顺序阶段：（i）特征选择、（ii）规则提取与（iii）微调。FSRE-AdaTSK 的有效性在 19 个数据集上得到验证，其中五个维度超 2000（含两个维度大于 7000）。这或是模糊系统首次实现涉及超 7000 输入特征的分类。
引用
@article{arxiv.2201.03187,
title = {An Adaptive Neuro-Fuzzy System with Integrated Feature Selection and Rule Extraction for High-Dimensional Classification Problems},
author = {Guangdong Xue and Qin Chang and Jian Wang and Kai Zhang and Nikhil R. Pal},
journal= {arXiv preprint arXiv:2201.03187},
year = {2022}
}