一种基于经验的自动图像裁剪直接生成方法

自动图像裁剪是一项具有许多实际下游应用的挑战性任务。该任务常被划分为子问题——生成裁剪候选、寻找视觉重要区域以及确定美学以选择最具吸引力的候选。先前的方法分别建模这些子问题中的一个或多个，并常按顺序组合它们。我们提出一种基于卷积神经网络（CNN）的新方法，可直接裁剪图像，而无需显式建模图像美学、评估多个裁剪候选或检测视觉显著区域。我们的模型在由经验丰富编辑裁剪的大型图像数据集上训练，并能同时预测多种固定长宽比的边界框。我们认为裁剪图像的长宽比是影响美学的关键因素。先前的自动图像裁剪方法未强制输出长宽比，可能由于该任务缺乏数据集。因此，我们在两个相关任务的公开数据集上基准测试我们的方法——其一为不考虑长宽比的美学图像裁剪，其二为需要固定长宽比输出但美学并不关键的缩略图生成。我们表明我们的策略在两项任务中与现有方法相当或更优。此外，我们的一阶段模型更易训练，且推理速度显著快于现有的两阶段或端到端方法。我们给出了定性评估研究，发现我们的模型能泛化至未见数据集的多样图像，且裁剪后常保留原图像的构图特性。我们的结果表明，构建有竞争力的图像裁剪算法未必需要显式建模图像美学或视觉注意区域。