艺术的形式化分析：通过语言模型从风格代理学习视觉概念

我们提出了一种机器学习系统，能够用一组视觉元素与艺术原则对美术绘画进行量化。这种形式化分析是理解艺术的基础，但开发此类系统具有挑战性。绘画具有高度视觉复杂性，且难以收集带有直接标签的充足训练数据。为解决这些实际限制，我们引入了一种称为代理学习（proxy learning）的新机制，通过其相对于风格的普遍关系来学习绘画中的视觉概念。该框架不需要任何视觉标注，仅使用风格标签以及视觉概念与风格之间的普遍关系。本文中，我们提出了一种新颖的代理模型，并在代理学习背景下重构了四种已有方法。通过定量与定性比较，我们评估了这些方法并比较其在量化艺术视觉概念上的有效性，其中普遍关系由语言模型 GloVe 或 BERT 估计。语言建模是一种实用且可扩展、无需标注的方案，但不可避免地不完美。我们展示了新代理模型如何对该不完美具有鲁棒性，而其他模型则受其敏感影响。