StyleBabel：艺术风格标注与描述生成
计算机视觉与模式识别
2022-03-14 v2 计算与语言
摘要
我们提出StyleBabel，一个独特的开放获取数据集，包含描述超过135K件数字艺术品艺术风格的自然语言描述和自由形式标签，通过一种新颖的来自艺术与设计专业院校专家研究的参与式方法收集。StyleBabel通过受“扎根理论”启发的迭代方法收集：一种定性方法，能够在共同演化用于细粒度艺术风格属性描述的共享语言的同时进行标注。我们展示了StyleBabel的若干下游任务，调整近期的ALADIN架构用于细粒度风格相似性，以训练跨模态嵌入用于：1)自由形式标签生成；2)艺术风格的自然语言描述；3)细粒度文本风格检索。为此，我们用Visual Transformer (ViT)和跨模态表示学习的最新进展扩展ALADIN，在细粒度风格检索中达到最先进的精度。
引用
@article{arxiv.2203.05321,
title = {StyleBabel: Artistic Style Tagging and Captioning},
author = {Dan Ruta and Andrew Gilbert and Pranav Aggarwal and Naveen Marri and Ajinkya Kale and Jo Briggs and Chris Speed and Hailin Jin and Baldo Faieta and Alex Filipkowski and Zhe Lin and John Collomosse},
journal= {arXiv preprint arXiv:2203.05321},
year = {2022}
}