基于深度多分支神经网络的绘画多任务分类
计算机视觉与模式识别
2018-12-20 v1
摘要
在这项工作中，我们提出了一种新的深度多分支神经网络，以多任务形式解决画家、风格和题材分类任务。为了从低层纹理细节中获取线索，同时利用绘画的粗略布局，所提网络的各分支以不同分辨率的裁剪图作为输入。我们提出并比较了两种不同的裁剪策略：第一种是随机裁剪策略，可权衡准确率与速度；第二种是基于空间变换网络（Spatial Transformer Networks）训练的智能提取器，用于提取最具代表性的子区域。此外，受其他领域结果的启发，我们尝试将直接在输入图像上计算的手工特征与神经特征联合使用。实验在一个最初来源于 wikiart.org、由 Kaggle 托管并适用于画家、风格和题材多任务学习的新数据集上进行。本文提出的数据集名为 MultitaskPainting100k，包含 10 万幅绘画、1508 位画家、125 种风格和 41 种题材。我们在 MultitaskPainting100k 数据集上测试的最佳方法，在画家、风格和题材预测任务上分别达到了 56.5%、57.2% 和 63.6% 的准确率。
引用
@article{arxiv.1812.08052,
title = {Multitask Painting Categorization by Deep Multibranch Neural Network},
author = {Simone Bianco and Davide Mazzini and Paolo Napoletano and Raimondo Schettini},
journal= {arXiv preprint arXiv:1812.08052},
year = {2018}
}
备注
11 pages, under review