面向移动端的现场AI原型设计：融合多模态提示的MobileMaker平台
人机交互
2024-10-03 v2
摘要
最近的多模态大型语言模型（LLM）技术进步，使得为移动场景快速原型化AI功能变得更加容易。然而，对于这些AI原型在移动场景中的早期用户反馈的收集仍然具有挑战性。由于LLM的广泛范围和灵活性，对于给定的特定用例原型，都有一个关键需求：理解用户大范围输入的潜在形式，以及其在上下文中的行为期望。为探索现场AI原型设计与测试的概念，我们创建了MobileMaker：一个使设计师能够直接在移动设备上快速创建和测试移动AI原型的平台。该工具还允许测试者使用自然语言在设备上进行现场修订。我们对16名参与者进行了探索性研究，比较了使用MobileMaker创建的原型用户反馈与现有原型工具（如Figma、提示编辑器）的差异。我们的发现表明，MobileMaker原型更容易发现：模型输入的边界情况、AI与用户在任务语境解释之间的差异，以及AI遗漏的情境信号。此外，我们发现，虽然现场修订的能力使用户在设计过程中感到更愿意作为积极参与者，但这种能力也可能限制他们的反馈仅限于被视为更可操作或可实现的修订子集。
引用
@article{arxiv.2405.03806,
title = {In Situ AI Prototyping: Infusing Multimodal Prompts into Mobile Settings with MobileMaker},
author = {Savvas Petridis and Michael Xieyang Liu and Alexander J. Fiannaca and Vivian Tsai and Michael Terry and Carrie J. Cai},
journal= {arXiv preprint arXiv:2405.03806},
year = {2024}
}