StateScribe: 面向真实场景复访的可访问变更感知
人机交互
2026-04-28 v1
摘要
真实世界环境持续演变，但盲人和低视力 (BLV) 个人往往缺乏理解其随时间变化的能力。意外或迁移的物体、布局修改以及内容更新（如价格变更）可能 introduce 安全风险和认知负担。虽然现有的视觉助理技术可以描述当前周围环境，但它们以一次性交互为主，缺乏在复访之间澄清有意义变更的机制。基于对 33 位 BLV 个人的调查，我们开发 StateScribe，一个支持跨复访实现可访问变更感知的系统。StateScribe 采用双层记忆体架构，将情景记忆和以对象为中心的时序记忆集成，以实现可扩展且结构化的变更跟踪。它提供当前场景的实时描述，以及跨复访的变更描述，例如：“你右侧的商店贴有‘CLOSED’标志；在上周的此时它仍然营业。”我们的评估显示，StateScribe 在 11 项复访中保持高准确率（F1=83.1%），同时在 110 项复访中保持低延迟（均值<1.54s）和低内存开销（<54MB）。针对 9 位 BLV 用户的调查表明，StateScribe 在三个真实场景位置提升了跨复访的变更感知。最后，我们讨论了支持更广泛变更观察的长期 AI 辅助伴侣的含义，这些系统利用多模态感知超越变更至其他记忆能力，并适应 individual 用户、意图和情境。
引用
@article{arxiv.2604.23749,
title = {StateScribe: Towards Accessible Change Awareness Across Real-World Revisits},
author = {Ruei-Che Chang and Xirui Jiang and Rosiana Natalie and Hao Chen and Vlad Roznyatovskiy and Jianzhong Zhang and Kang G. Shin and Ke Sun and Anhong Guo},
journal= {arXiv preprint arXiv:2604.23749},
year = {2026}
}