将深度神经网络蒸馏为 Takagi-Sugeno-Kang 模糊推理系统
人工智能
2020-10-13 v1
摘要
深度神经网络（DNNs）在分类任务中展现出巨大成功。然而，它们充当黑箱，我们不知道其在特定分类任务中如何做出决策。为此，我们提出将 DNN 中的知识蒸馏到一个模糊推理系统（FIS）中，本文中该系统为 Takagi-Sugeno-Kang（TSK）型。该模型能够基于模糊规则表达 DNN 所获取的知识，从而更容易解释特定决策。知识蒸馏（KD）被用于创建一个比直接从训练数据得到的泛化能力更好的 TSK 型 FIS，本文通过实验对此予以保证。为了进一步提升性能，我们改进了 KD 的基线方法并取得了良好结果。
引用
@article{arxiv.2010.04974,
title = {Distilling a Deep Neural Network into a Takagi-Sugeno-Kang Fuzzy Inference System},
author = {Xiangming Gu and Xiang Cheng},
journal= {arXiv preprint arXiv:2010.04974},
year = {2020}
}