融合语义信息的深度美学质量评估

人类在评估图像美学质量时，往往同时识别图像的语义内容。本文探讨了自动美学质量评估与语义识别之间的关联性问题。我们将评估问题作为多任务深度模型中的主任务，并认为语义识别任务为解决该问题提供了关键。基于卷积神经网络，我们采用一个单一且简单的多任务框架，以高效利用美学标签和语义标签的监督信息。通过引入任务间关系学习，该框架进一步加入了这两个任务之间的关联项。此项不仅提供了关于相关性的有用见解，还提高了美学任务的评估精度。特别地，我们开发了一种有效策略来保持两个任务之间的平衡，这有助于优化框架的参数。在具有挑战性的 AVA 数据集和 Photo.net 数据集上进行的大量实验，验证了语义识别在美学质量评估中的重要性，并证明多任务深度模型能够发现有效的美学表征，从而取得最先进的结果。