从高阶 TSK 到低阶 TSK 的模糊知识蒸馏
机器学习
2023-02-17 v1
摘要
高阶 Takagi-Sugeno-Kang (TSK) 模糊分类器拥有强大的分类性能且模糊规则较少,但因其模糊规则后件部分使用高阶多项式而始终受限于指数级增长的训练时间和较差的可解释性;而低阶 TSK 模糊分类器运行快速且可解释性高,但通常需更多模糊规则且性能相对欠佳。针对此问题,本文提出一种嵌入深度学习中知识蒸馏的名为 HTSK-LLM-DKD 的新型 TSK 模糊分类器。HTSK-LLM-DKD 具有以下显著特点:1) 它以高阶 TSK 分类器为教师模型、低阶 TSK 模糊分类器为学生模型,并利用所提出的 LLM-DKD(基于最小学习机的解耦知识蒸馏)将模糊暗知识从高阶 TSK 模糊分类器蒸馏至低阶 TSK 模糊分类器,使低阶 TSK 模糊分类器获得超越或至少可比于高阶 TSK 分类器的增强性能以及高可解释性;具体而言 2) 采用教师模型输出与各类之间的负欧氏距离获得教师 logits,然后通过带蒸馏温度参数的 softmax 函数计算教师/学生软标签;3) 通过重构 Kullback-Leibler 散度,将模糊暗知识解耦为目标类知识与非目标类知识,并迁移至学生模型。在基准 UCI 数据集和真实数据集 Cleveland 心脏病数据集上,从分类性能和模型可解释性方面验证了 HTSK-LLM-DKD 的优势。
引用
@article{arxiv.2302.08038,
title = {Fuzzy Knowledge Distillation from High-Order TSK to Low-Order TSK},
author = {Xiongtao Zhang and Zezong Yin and Yunliang Jiang and Yizhang Jiang and Danfeng Sun and Yong Liu},
journal= {arXiv preprint arXiv:2302.08038},
year = {2023}
}