课堂幻灯片旁白系统
计算机视觉与模式识别
2022-01-24 v1 人工智能
多媒体
摘要
幻灯片演示是教学界用于课堂交流的一种有效且高效的工具。然而，这种教学模式对盲人和视障（VI）学生而言可能具有挑战性。VI学生需要专人协助以理解所展示的幻灯片。这一不足促使我们设计一种课堂幻灯片旁白系统（CSNS），该系统生成与幻灯片内容相对应的音频描述。该问题可视为图像到标记语言生成任务。第一步是从幻灯片图像中提取标题、文本、公式、图和表格等逻辑区域。在课堂幻灯片图像中，逻辑区域依据图像位置分布。为利用逻辑区域的位置进行幻灯片图像分割，我们提出了课堂幻灯片分割网络（CSSN）架构。该架构的独特属性不同于大多数其他语义分割网络。使用公开可用的基准数据集（如WiSe和SPaSe）来验证我们分割架构的性能。我们在WiSe数据集上获得了9.54的分割精度提升。我们利用光学字符识别（OCR）、图分类、公式描述和表格结构识别这四个成熟模块从幻灯片中提取内容（信息）。基于这些信息，我们构建了课堂幻灯片旁白系统（CSNS）以帮助VI学生理解幻灯片内容。与现有系统（如Facebook的Automatic Alt-Text（AAT）和Tesseract）相比，用户对所提CSNS的输出质量给予了更好反馈。
引用
@article{arxiv.2201.08574,
title = {Classroom Slide Narration System},
author = {Jobin K. V. and Ajoy Mondal and C. V. Jawahar},
journal= {arXiv preprint arXiv:2201.08574},
year = {2022}
}