fAIlureNotes：辅助设计师理解计算机视觉任务中 AI 模型的局限性
机器学习
2023-02-24 v1 计算机视觉与模式识别
人机交互
摘要
为了使用 AI 模型进行设计，用户体验（UX）设计师必须评估模型与用户需求之间的契合度。基于用户研究，他们需要将模型的行为和潜在失败置于其产品特定数据实例与用户场景中进行语境化。然而，我们对十位 UX 专业人士的 formative 访谈表明，这种对模型局限性的主动发现具有挑战性且耗时。此外，设计师往往缺乏 AI 的技术知识和易用的探索工具，这阻碍了他们对模型能力与局限性的理解。在本工作中，我们提出了一种以失败驱动的 AI 设计方法，这是一种鼓励设计师在设计过程早期探索模型行为与失败模式的工作流。fAIlureNotes 是一个以设计师为中心的失败探索与分析工具的实现，它支持设计师在不同用户群体与场景中评估模型并识别失败。我们与 UX 从业者的评估表明，在评估特定情境下的模型性能方面，fAIlureNotes 优于当今的交互式模型卡片。
引用
@article{arxiv.2302.11703,
title = {fAIlureNotes: Supporting Designers in Understanding the Limits of AI Models for Computer Vision Tasks},
author = {Steven Moore and Q. Vera Liao and Hariharan Subramonyam},
journal= {arXiv preprint arXiv:2302.11703},
year = {2023}
}