基于动态软剪枝的动态连接神经决策分类器与回归器
机器学习
2021-02-23 v3 人工智能
机器学习
摘要
为应对不同复杂度的各类数据集，本文提出一种自适应学习模型，该模型结合了所提出的动态连接神经决策网络（DNDN）与一种新的剪枝方法——动态软剪枝（DSP）。DNDN是随机森林与深度神经网络的结合，兼具树状结构强分类能力与网络结构表示学习能力的优势。基于深度神经决策森林（DNDF），本文采用端到端训练方法，以多个随机初始化的softmax层表示分类分布，从而进一步允许将多个随机森林集成到不同深度的神经网络层上。我们还提出软剪枝方法DSP，以自适应地减少网络的冗余连接，避免对简单数据集的过拟合。该模型相较于未剪枝模型无性能损失，且在不同数据与特征分布上表现出更高的鲁棒性。在不同数据集上的大量实验证明了所提模型在解决分类任务上优于其他流行算法。
引用
@article{arxiv.1911.05443,
title = {Dynamic Connected Neural Decision Classifier and Regressor with Dynamic Softing Pruning},
author = {Xinyu Fan},
journal= {arXiv preprint arXiv:1911.05443},
year = {2021}
}