面向色觉缺陷者的情境感知支持：一种集成 LLM 与 AR 的方法
计算机视觉与模式识别
2024-07-08 v1 人机交互
摘要
色觉缺陷者常面临区分颜色（如红绿）的困难，这会 complicate daily tasks 并需要使用辅助工具或环境调整。当前支持工具主要关注基于呈现类的辅助措施，如 iPhone 辅助功能中的色觉模式。然而，提供情境感知支持（如指示肉类熟度） remains a challenge since task-specific solutions are not cost-effective for all possible scenarios. 为此，我们提出一种提供情境化和自主化辅助的应用。该应用主要由：（i）高效捕获情境的增强现实界面；以及（ii）基于多模态大语言模型的推理器，用于认知情境并推理适当的支持内容。初步用户实验在五个不同情境下进行，针对两个色觉缺陷用户，结果表明该应用有效且通用。
引用
@article{arxiv.2407.04362,
title = {Towards Context-aware Support for Color Vision Deficiency: An Approach Integrating LLM and AR},
author = {Shogo Morita and Yan Zhang and Takuto Yamauchi and Sinan Chen and Jialong Li and Kenji Tei},
journal= {arXiv preprint arXiv:2407.04362},
year = {2024}
}