迈向智能傻瓜式摄影

数以亿计的人经常使用智能手机作为傻瓜式 (PAS) 相机拍照，但很少有人具备构图拍摄好照片的摄影技巧。虽然传统的 PAS 相机具有内置功能以确保照片对焦良好、亮度合适，但它们无法告诉用户如何为场景构图最佳照片。在本文中，我们提出了首个同类智能傻瓜式 (SPAS) 系统，以帮助用户拍摄好照片。我们的 SPAS 旨在通过自动引导用户在场景中实时调整相机姿态，来帮助用户为场景构图好照片。我们首先构建了一个包含来自 4000 个场景的 32 万张带有相机姿态信息的图像的大型数据集。然后，我们开发了一个创新的基于 CLIP 的构图质量评估 (CCQA) 模型，为这些图像分配伪标签。CCQA 引入了一种独特的可学习文本嵌入技术，以学习能够辨别由五级质量描述词 {bad, poor, fair, good, perfect} 所覆盖范围内细微视觉质量差异的连续词嵌入。最后，我们开发了一个相机姿态调整模型 (CPAM)，该模型首先确定当前视图是否可以进一步改进，如果可以，则以两个相机姿态调整角度的形式输出调整建议。CPAM 的两个任务以顺序方式做出决策，并且每个任务涉及不同的训练样本集，我们开发了一个带有门控损失函数的混合专家模型，以端到端的方式训练 CPAM。我们将展示广泛的结果，以使用公开可用的图像构图数据集来证明我们 SPAS 系统的性能。