基于深度编码器网络的大间隔KNN分类
机器学习
2009-06-11 v1 人工智能
摘要
KNN是最流行的分类方法之一，但它在距离度量选择不当或存在大量与类别无关的特征时往往表现不佳。线性特征变换方法已被广泛应用于提取与类别相关的信息以改进KNN分类，但在许多应用中其能力非常有限。核方法已被用于学习强大的非线性特征变换，但这些方法难以扩展到大型数据集。在本文中，我们提出了一种基于深度神经网络的可扩展非线性特征映射方法，该网络使用受限玻尔兹曼机进行预训练，用于在大间隔框架下改进KNN分类，我们称之为DNet-kNN。DNet-kNN既可用于分类，也可用于监督降维。在两个基准手写数字数据集上的实验结果表明，DNet-kNN的性能远优于使用线性映射的大间隔KNN以及基于使用受限玻尔兹曼机预训练的深度自编码器的KNN。
引用
@article{arxiv.0906.1814,
title = {Large-Margin kNN Classification Using a Deep Encoder Network},
author = {Martin Renqiang Min and David A. Stanley and Zineng Yuan and Anthony Bonner and Zhaolei Zhang},
journal= {arXiv preprint arXiv:0906.1814},
year = {2009}
}
备注
13 pages (preliminary version)