中文

TactileEval:迈向触觉图形的自动化细粒度评估与编辑

计算机视觉与模式识别 2026-04-23 v1

摘要

触觉图形在送达盲人与视障(BVI)学习者之前,需要经过专家的仔细验证,然而现有数据集仅提供粗略的整体质量评分,无法提供可操作的修复信号。我们提出了 TactileEval,一个三阶段流水线,迈出了实现该过程自动化的第一步。利用来自 TactileNet 数据集的专家自由文本评论,我们建立了一个五类质量分类法;涵盖视角、部件完整性、背景杂乱度、纹理分离度以及符合 BANA 标准的线条质量。随后,我们通过 Amazon Mechanical Turk 收集了 14,095 条结构化标注,涵盖 66 个对象类别,组织为六个不同的科。在此数据上训练的可复现 ViT-L/14 特征探针在 30 个不同任务中达到了 85.70% 的总体测试准确率,一致的难度排序表明该分类法捕捉到了有意义的感知结构。在这些评估的基础上,我们提出了一种由 ViT 引导的自动化编辑流水线,该流水线将分类器分数通过特定科的提示模板进行路由,以通过 gpt-image-1 图像编辑生成针对性的修正。代码、数据和模型可在 https://TactileEval.github.io/ 获取。

关键词

引用

@article{arxiv.2604.19829,
  title  = {TactileEval: A Step Towards Automated Fine-Grained Evaluation and Editing of Tactile Graphics},
  author = {Adnan Khan and Abbas Akkasi and Majid Komeili},
  journal= {arXiv preprint arXiv:2604.19829},
  year   = {2026}
}

备注

Code, data, and models are available at https://TactileEval.github.io/