AltGen：面向提升 EPUB 可访问性的人工智能驱动的替代文本生成
人工智能
2025-01-03 v1
摘要
数字可访问性是包容性内容交付的基石，但许多 EPUB 文件未能满足基本的可访问性标准，尤其是在为图像提供描述性替代文本方面。替代文本在通过辅助技术帮助视障用户理解视觉内容方面发挥着关键作用。然而，大规模生成高质量的替代文本是一个 resource-intensive 的过程，为组织确保可访问性合规性带来了重大挑战。本文介绍了 AltGen，一个 novel AI-driven pipeline designed to automate the generation of alt text for images in EPUB files。通过整合最先进的生成模型，包括高级 transformer-based architectures，AltGen 实现了与情境相关且语言连贯的替代文本描述。该管道包括多个阶段，从数据预处理提取和准备相关内容开始，随后使用计算机视觉模型如 CLIP 和 ViT 进行视觉分析。提取的视觉特征与周围文本的情境信息相结合，使 fine-tuned language models 能够生成描述性且准确的替代文本。对生成输出的验证采用了定量指标（如余弦相似度和 BLEU 分数）以及来自视障用户的定性反馈。实验结果表明，AltGen 在 diverse datasets 上效果显著，实现了 97.5% 的可访问性错误减少，并在相似度和语言忠实度指标上取得高分。用户研究突出了 AltGen 的实际影响，参与者报告文档可用性和理解能力有显著提升。此外，比较分析显示 AltGen 在准确性、相关性和可扩展性方面优于现有方法。
引用
@article{arxiv.2501.00113,
title = {AltGen: AI-Driven Alt Text Generation for Enhancing EPUB Accessibility},
author = {Yixian Shen and Hang Zhang and Yanxin Shen and Lun Wang and Chuanqi Shi and Shaoshuai Du and Yiyi Tao},
journal= {arXiv preprint arXiv:2501.00113},
year = {2025}
}