基于类别感知美学学习的照片滤镜推荐

如今，社交媒体已成为公众分享照片的流行平台。为了使照片更具视觉吸引力，用户通常会在不具备领域知识的情况下对照片应用滤镜。然而，由于滤镜种类日益增多，选择最佳滤镜类型已成为用户面临的一个主要问题。为此，面向照片美学的滤镜推荐在图像质量排序问题中扮演着重要角色。近年来，多项工作表明卷积神经网络（CNNs）在图像美学分类（将图像分为高质量或低质量）任务中优于传统方法。这些工作大多未考虑对滤镜处理后图像的影响；因此，我们提出了一种用于滤镜推荐的新型图像美学学习方法。我们不再将图像质量二值化，而是调整了最先进的 CNN 架构，并设计了一个成对损失函数，以学习隐藏层中针对滤镜处理后图像的嵌入式美学响应。基于我们的初步研究，我们观察到图像类别（例如，人像、风景、食物）会影响用户对滤镜选择的偏好。我们进一步将类别分类集成到我们提出的美学导向模型中。据我们所知，目前尚无用于滤镜处理后图像美学判断的公开数据集。我们创建了一个名为滤镜美学比较数据集（FACD）的新数据集。它包含基于 AVA 数据集的 28,160 张滤镜处理图像，以及使用 Amazon Mechanical Turk 标注了美学偏好的 42,240 对可靠图像对。这是首个包含滤镜处理图像和用户偏好标签的数据集。我们在收集的 FACD 数据集上进行了滤镜推荐实验，结果表明，我们提出的类别感知美学学习方法优于美学分类方法（例如，相对提升 12%）。