用于多任务学习的低秩深度卷积神经网络
机器学习
2019-04-17 v1 机器学习
摘要
本文提出一种基于深度卷积网络的新型多任务学习方法。所提出的深度网络包含四个卷积层、三个最大池化层和两个并行全连接层。为使深度网络适应多任务学习问题，我们提出学习一个低秩深度网络，以探索不同任务之间的关系。我们提出最小化一个全连接层独立参数行的数量来探索不同任务间的关系，该关系由一个全连接层参数的核范数度量，并寻求低秩参数矩阵。同时，我们还提出用稀疏惩罚正则化另一个全连接层，以选择由较低层学习到的有用特征。该学习问题通过基于梯度下降和反向传播算法的迭代算法求解。所提算法在多个面部属性预测、多任务自然语言处理和联合经济指数预测的基准数据集上进行了评估。评估结果显示了低秩深度 CNN 模型相对于多任务问题的优势。
引用
@article{arxiv.1904.07320,
title = {Low-Rank Deep Convolutional Neural Network for Multi-Task Learning},
author = {Fang Su and Hai-Yang Shang and Jing-Yan Wang},
journal= {arXiv preprint arXiv:1904.07320},
year = {2019}
}