SlideAudit：用于自动化评估演示幻灯片的数据集与分类

演示幻灯片等特定图形设计的自动化评估是一个尚未解决的问题。我们提出了SlideAudit数据集用于自动化幻灯片评估。我们与设计专家合作制定了幻灯片设计缺陷的详尽分类。我们的数据集包含2400个幻灯片，来自多个来源收集与合成，其中包括一部分故意修改具有特定设计问题的子集。随后我们通过严格训练的众包（Prolific）使用我们的分类对其进行了完全标注。为评估AI是否能够识别设计缺陷，我们在不同的提示策略下比较了多个大型语言模型，并与现有的设计批评管道进行了比较。我们显示，AI模型在准确识别幻灯片设计缺陷方面存在挑战，F1分数范围为0.331至0.655。值得注意的是，利用我们的分类的提示技术实现了最佳性能。我们进一步进行了修复研究以评估AI改进幻灯片的潜力。在82.0%的幻灯片显示出显著改进后，87.8%的幻灯片是通过我们的分类获得了更好的改进，进一步证明了其实用性。