绘画中的材料(MIP)：面向感知、艺术史与计算机视觉的跨学科数据集
人机交互
2021-09-15 v2
摘要
画家可自由修改自然场景中各组成部分的描绘方式，从而生成对远端世界具有感知说服力的图像。这揭示了照片与绘画之间的一个主要差异：绘画是明确为人类感知而创作的。研究这些绘画性描绘可使多学科受众受益。本文中，我们捕捉并探究材料的绘画性描绘，以通过艺术家的视角研究材料的描绘与感知。我们标注了一个包含1.9万幅绘画、20万余个边界框的数据集，并从中自动提取多边形分割。每个边界框被赋予一个粗粒度标签（如织物）和一个细粒度标签（如天鹅绒般、丝绸般）。我们通过呈现艺术史、人类感知与计算机视觉方面的新发现，展示了该数据集的跨学科效用。我们的实验包括分析绘画中所描绘材料的分布、展示画家如何以风格化手法创作具说服力的描绘，以及证明绘画可用于构建更鲁棒的计算机视觉模型。我们得出结论：我们的绘画性材料描绘数据集是跨多个学科获取材料描绘与感知洞见的丰富来源。MIP数据集可免费访问：https://materialsinpaintings.tudelft.nl
引用
@article{arxiv.2012.02996,
title = {Materials In Paintings (MIP): An interdisciplinary dataset for perception, art history, and computer vision},
author = {Mitchell J. P. van Zuijlen and Hubert Lin and Kavita Bala and Sylvia C. Pont and Maarten W. A. Wijntjes},
journal= {arXiv preprint arXiv:2012.02996},
year = {2021}
}