基于多选学习的多样化多媒体版面生成

为包含文本、图形和图像的多媒体文档设计视觉上吸引人的版面需要一种创造性智能。由于版面在美学与传播风格中的重要性，对其生成建模近来受到关注。与标准预测任务不同，存在一系列取决于用户偏好的可接受版面。例如，一位海报设计师可能偏好 logo 在左上角，而另一位偏好在右下角。两者皆正确，但现有机器学习模型将版面视为单选择预测问题。在此类情形下，这些模型会对给定相同输入的所有可能选择简单取平均，形成退化的样本。在上述例子中，这将形成一个 logo 居中的不可接受版面。本文中，我们提出一种称为 LayoutMCL 的自回归神经网络架构，其使用多选预测与胜者通吃损失来有效稳定版面生成。LayoutMCL 通过使用多个预测器为每个版面对象学习一系列可能选项，从而避免平均问题。这使得 LayoutMCL 能从单一输入生成多个多样化版面，而现有方法仅产生带有微小变化的相似版面。通过在真实数据（杂志、文档和移动应用版面）上的定量基准测试，我们证明 LayoutMCL 将 Fréchet Inception Distance（FID）降低 83-98%，并与现有方法相比生成显著更多的多样性。