使用神经元级相关最大化的深度多视图学习正则化方法
计算机视觉与模式识别
2019-09-04 v1
摘要
许多机器学习问题涉及发现或关联多视图或多模态数据中的共同模式。多视图学习是实现此类目标的方法之一。近期方法通过改造通用深度神经网络（DNNs）提出深度多视图网络，在网络中间层（即融合层）拼接各视图特征。本文研究此类端到端网络中的多视图学习问题。我们采用多视图学习准则的正则化方法，提出一种新颖、有效且高效的神经元级相关最大化正则化器。我们将所提正则化器整体实现为一个相关正则化网络层（CorrReg）。CorrReg可应用于全连接或卷积融合层，只需将其对应层替换为CorrReg层即可。通过将通用DNNs隐藏层神经元划分为多个子集，我们也考虑了通用DNNs的多视图特征学习视角。该视角使我们能在正则化网络训练框架下研究深度多视图学习，并给出基准图像分类的控制实验以展示CorrReg的效用。为探究CorrReg对实际多视图学习问题的用处，我们使用拼接各模态或视图中间特征以供后续分类的融合层网络，进行了RGB-D物体/场景识别及基于多视图的3D物体识别实验。将CorrReg应用于这些网络的融合层一致地提升了分类性能。特别地，我们在基准RGB-D物体与RGB-D场景数据集上达到了新的当前最优水平。我们公开了CorrReg的实现。
引用
@article{arxiv.1904.11151,
title = {Deep Multi-View Learning using Neuron-Wise Correlation-Maximizing Regularizers},
author = {Kui Jia and Jiehong Lin and Mingkui Tan and Dacheng Tao},
journal= {arXiv preprint arXiv:1904.11151},
year = {2019}
}