深度受限核机分类器中原始与对偶表示的结合
机器学习
2023-08-30 v2
摘要
在基于核机的深度学习背景下，深度受限核机（DRKM）框架允许将多个层次的核主成分分析（KPCA）和最小二乘支持向量机（LSSVM）通过可见与隐藏单元组合成深度架构。我们提出一种DRKM分类新方法，将KPCA与分类层次的目标相耦合，且隐藏特征矩阵位于Stiefel流形上。分类层可表述为LSSVM或MLP特征映射，结合层次与层级的深度。分类层以其原始形式表达，而深度KPCA层以其对偶形式表达，可将数据中最具信息量的成分嵌入低得多的维数空间中。对偶设置与输入维度无关，而原始设置为参数化形式，这使得所提方法在高维输入和大型数据集上均计算高效。在实验中，我们表明所开发的算法能从小型数据集中有效学习，同时使用比卷积神经网络（CNN）更少的内存处理高维数据，且具多个KPCA层的模型可优于单层的模型。在测试的较大规模数据集上，DRKM比CNN更节能，同时保持相当的性能。
引用
@article{arxiv.2306.07015,
title = {Combining Primal and Dual Representations in Deep Restricted Kernel Machines Classifiers},
author = {Francesco Tonin and Panagiotis Patrinos and Johan A. K. Suykens},
journal= {arXiv preprint arXiv:2306.07015},
year = {2023}
}