早期可访问性：自动化 UI 图标替代文本生成

替代文本对于移动应用可访问性至关重要，但 UI 图标往往缺乏有意义的描述，限制了盲人用户的可访问性。现有方法要么需要大量标记数据，要么在获取部分 UI 上下文时存疑，要么在开发后运行，增加技术债务。我们首先进行形式化研究，以确定开发者何时何时希望生成图标替代文本。随后，我们探索 ALTICON 方法，该方法在开发期间使用两种微调模型为 UI 图标生成替代文本：一个仅处理提取的 UI 元数据的文本模型，另一个同时分析图标图像和文本上下文的多模态模型。为提高准确性，该方法从 DOM 树中提取相关 UI 信息，通过 OCR 检索图标内文本，并应用结构化提示生成替代文本。我们的实证评估与最相关的深度学习和视觉语言模型表明，ALTICON 生成的替代文本质量更高，且无需完整屏幕输入。