神经随机投影：从初始任务到输入相似性问题
机器学习
2020-10-12 v1 神经与进化计算
摘要
在本文中，我们提出一种利用训练好的神经网络评估输入数据相似性的隐式数据表示新方法。与之前使用梯度进行表示的方法不同，我们仅利用神经网络最后隐藏层的输出，且不采用反向步骤。所提出的技术显式考虑了初始任务，并显著减小了向量表示的规模以及计算时间。关键点在于最小化层间信息损失。一般而言，神经网络会丢弃与问题无关的信息，这使得最后隐藏层表示对输入相似性任务无用。在本工作中，我们考虑信息损失的两个主要原因：神经元间的相关性和最后隐藏层规模不足。为降低神经元间相关性，我们对每一层使用正交权重初始化，并修改损失函数以确保训练期间权重的正交性。此外，我们表明激活函数可能潜在增加相关性。为解决该问题，我们应用带 Dropout 的改进 Batch-Normalization。使用正交权重矩阵使我们能将此类神经网络视为随机投影方法的应用，并给出最后隐藏层规模的下界估计。我们在 MNIST 和体检数据集上进行了实验。在两项实验中，起初我们将标签集划分为两个不相交子集以训练二分类问题的神经网络，然后使用该模型度量输入数据间相似性并定义隐藏类别。实验结果表明，所提方法在输入相似性任务上取得了有竞争力的结果，同时减少了计算时间与输入表示规模。
引用
@article{arxiv.2010.04555,
title = {Neural Random Projection: From the Initial Task To the Input Similarity Problem},
author = {Alan Savushkin and Nikita Benkovich and Dmitry Golubev},
journal= {arXiv preprint arXiv:2010.04555},
year = {2020}
}