A11yShape：面向盲视程序员的 AI 辅助 3D 建模
人机交互
2025-08-08 v2
摘要
盲视及低视力（BLV）用户因 3D 模型的内在复杂性以及现有工具对非视觉交互的缺乏支持，面临着 3D 模型构建的挑战。为此，我们引入了 A11yShape，一个新型系统，旨在帮助拥有基本编程技能的 BLV 用户理解、修改和迭代 3D 模型。A11yShape 利用大语言模型（LLM），并集成到 OpenSCAD——一个流行的开源编辑器，通过代码生成 3D 模型。A11yShape 的关键功能包括 3D 模型的可访问描述、版本控制以跟踪模型和代码的变更，以及模型组件的层次化表示。最重要的是，A11yShape 采用跨表示突出显示机制，在所有模型表示——代码、语义层次、AI 描述和 3D 渲染——之间实现语义选择的同步。我们对四名 BLV 程序员进行了多次用户研究，经过初始教学后，参与者在两个测试期间独立完成 12 个不同的模型，结果符合他们的满意度。该结果表明，参与者能够理解所提供的 3D 模型，以及独立创建和修改 3D 模型——这些任务以前在没有受视者帮助的情况下是不可能实现的。
引用
@article{arxiv.2508.03852,
title = {A11yShape: AI-Assisted 3-D Modeling for Blind and Low-Vision Programmers},
author = {Zhuohao Jerry Zhang and Haichang Li and Chun Meng Yu and Faraz Faruqi and Junan Xie and Gene S-H Kim and Mingming Fan and Angus G. Forbes and Jacob O. Wobbrock and Anhong Guo and Liang He},
journal= {arXiv preprint arXiv:2508.03852},
year = {2025}
}
备注
ASSETS 2025