用于绘画知识增强视觉表示的图神经网络
计算机视觉与模式识别
2025-05-27 v2 机器学习
摘要
我们提出 ArtSAGENet，一种集成图神经网络（GNNs）与卷积神经网络（CNNs）的新型多模态架构，以联合学习视觉与基于语义的艺术表示。首先，我们阐明多任务学习在美术分析中的显著优势，并主张其在美术领域概念上远比单任务替代方案更合适。我们进一步证明，若干 GNN 架构可在一系列美术分析任务（如风格分类、艺术家归属、创作时期估计与标签预测）中胜过强 CNN 基线，且其训练所需计算时间少一个数量级且仅需少量标注数据。最后，通过大量实验我们表明，我们提出的 ArtSAGENet 捕获并编码了艺术家与艺术品之间有价值的关系依赖，超越了仅依赖视觉内容分析的传统方法性能。我们的发现凸显了在美术分析与策展中集成视觉内容与语义的巨大潜力。
引用
@article{arxiv.2105.08190,
title = {Graph Neural Networks for Knowledge Enhanced Visual Representation of Paintings},
author = {Athanasios Efthymiou and Stevan Rudinac and Monika Kackovic and Marcel Worring and Nachoem Wijnberg},
journal= {arXiv preprint arXiv:2105.08190},
year = {2025}
}
备注
Published in the 29th ACM International Conference on Multimedia (MM '21). This is the camera-ready version. 10 pages, 4 figures