UDRN：用于特征选择与特征投影的统一降维神经网络
机器学习
2022-11-24 v2
摘要
降维（DR）将高维数据映射至低维潜空间，并使定义的优化目标最小化。DR 方法通常分为特征选择（FS）与特征投影（FP）。FS 侧重于挑选关键维度子集，但可能破坏数据分布（结构）。另一方面，FP 将所有输入特征组合至低维空间，旨在保持数据结构，但缺乏可解释性与稀疏性。FS 与 FP 传统上是不相容的类别，因而从未统一于一个友好的框架中。我们认为理想的 DR 方法应将 FS 与 FP 结合进统一的端到端流形学习框架，在潜空间中同时执行基础特征发现并保持数据样本间的内在关系。本工作中，我们开发了统一框架——统一降维神经网络（UDRN），以兼容的端到端方式集成 FS 与 FP。我们通过使用两个堆叠子网络分别实现 FS 与 FP 任务来改进神经网络结构。此外，我们设计了 DR 过程的数据增强，以提升方法处理大规模特征数据集时的泛化能力，并设计了可与数据增强协作的损失函数。在四个图像与四个生物数据集（含极高维数据）上的大量实验结果表明，DRN 优于现有方法（FS、FP 及 FS&FP 流水线），尤其在分类与可视化等下游任务中。
引用
@article{arxiv.2207.03809,
title = {UDRN: Unified Dimensional Reduction Neural Network for Feature Selection and Feature Projection},
author = {Zelin Zang and Yongjie Xu and Linyan Lu and Yulan Geng and Senqiao Yang and Stan Z. Li},
journal= {arXiv preprint arXiv:2207.03809},
year = {2022}
}
备注
14 pages, 7 figures