利用深度学习识别艺术史中的人物
计算机视觉与模式识别
2020-04-02 v2
摘要
在艺术史领域，艺术作品图像及其语境是理解底层语义信息的核心。然而，这些艺术作品高度复杂且精妙的表征使得即便专家也难以分析场景。从计算机视觉视角看，分析此类艺术作品的任务可通过自底向上的方法划分为若干子问题。本文中，我们聚焦于艺术史中人物识别这一问题。从《圣母领报》（图 1）的图像志出发，我们考虑主要角色 与 在不同艺术作品与风格中的表征。我们研究并展示了在其面部图像所提取特征上训练人物分类器的发现。该方法的局限性以及 表征中固有的模糊性，促使我们考虑以其身体（更大的语境）作为分析对象以识别人物。在 与 身体上训练的卷积神经网络（CNN）能够学习与人相关的特征，并最终提升人物识别的性能。我们引入一种生成具有相似风格之更多数据的新技术，有效地在相似域中创建数据。我们给出了三种不同模型上的实验与分析，表明在域相关数据集上训练的模型在人物识别上取得最佳性能。此外，我们分析了网络预测所对应的局部化图像区域。代码已开源，可在 https://github.com/prathmeshrmadhu/recognize_characters_art_history 获取，已发表的同行评审文章链接为 https://dl.acm.org/citation.cfm?id=3357242。
引用
@article{arxiv.2003.14171,
title = {Recognizing Characters in Art History Using Deep Learning},
author = {Prathmesh Madhu and Ronak Kosti and Lara Mührenberg and Peter Bell and Andreas Maier and Vincent Christlein},
journal= {arXiv preprint arXiv:2003.14171},
year = {2020}
}