Umwelt：多模态数据表示的可访问结构化编辑

我们推出了 Umwelt，一个用于交互式多模态数据表示的创作环境。与以往以视觉模态为中心的方法不同，Umwelt 将可视化、声音化和文本描述视为同等重要的表示：它们都源自共享的抽象数据模型，因此没有任何一种模态被优先对待。为了简化规范说明，Umwelt 评估一组启发式规则，以生成默认的多模态表示，从而表达数据集的功能关系。为了支持在不同表示之间平滑切换，Umwelt 维护一个共享的查询谓词，该谓词在所有模态中被具体化——例如，浏览文本描述也会高亮显示可视化内容并过滤声音化输出。在一项涉及 5 名盲人或低视力专家用户的研究中，我们发现 Umwelt 的多模态表示提供了对数据集的互补性概览和详细视角，使参与者能够在面向任务和面向表示的思维方式之间流畅切换。