与学习相结合的剪枝、极简神经网络集成与 XAI 的未来
机器学习
2023-01-24 v3 神经与进化计算
机器学习
摘要
与学习相结合的剪枝旨在优化神经网络（NN）结构以求解特定问题。该优化可用于多种目的：防止过拟合、节省实现与训练资源、提供训练后 NN 的可解释性，以及其他诸多方面。不可再进一步剪枝的极小结构并不唯一。极小结构的集成可用作通过投票解决问题的智能体委员会。每个极小 NN 呈现关于问题的“经验性知识”且可被语言化。从数据中提取的此类知识的非唯一性是数据驱动人工智能（AI）的重要性质。在本工作中，我们回顾一种基于如下原则的剪枝方法：控制训练者应控制剪枝。该原则预期对人工 NN 以及脑中重要突触联系的选择与修正均奏效。在反向传播人工 NN 中，学习由损失函数的梯度控制。因此，一阶敏感性指标被用于剪枝，并回顾了基于这些指标的算法。我们引入了逻辑透明 NN 的概念。该方法在美国总统大选结果预测的政治预测问题上得到说明：生成了八个给出不同预测算法的极小 NN。解的非唯一性可通过创建专家小组（委员会）来利用。NN 多元主义的另一用途是识别进一步数据收集最有益的输入信号区域。在结论中，我们讨论了广受宣扬的 XAI 项目之可能未来。
引用
@article{arxiv.2005.06284,
title = {Pruning coupled with learning, ensembles of minimal neural networks, and future of XAI},
author = {Alexander N. Gorban and Evgeny M. Mirkes},
journal= {arXiv preprint arXiv:2005.06284},
year = {2023}
}
备注
Significantly modified and extended version, 23 pages, 5 figures