AI 助理的设计与评估——零售助理模板案例研究
人机交互
2024-07-16 v1 人工智能
摘要
构建成功的 AI 助理需要系统化的ethods。本论文分为两个部分,分别涵盖助理的设计与评估。微软用于零售领域开发助理模板的案例研究用于说明每个方面所扮演的角色和重要性。第一部分探讨了助理架构的关键技术组件,包括大语言模型 (LLM)、用于知识检索和操作的插件、编排、系统提示以及负责任的 AI 警戒措施。第二部分讨论了测试与评估作为促进所期望结果并管理 AI 在商业语境中潜在后果的原则方法。我们通过端到端的人机决策循环框架的视角讨论如何衡量和改进其质量和安全性。通过提供助理解剖结构和测试与评估的关键方面方面的见解,本论文为构建有效、以人为中心的 AI 助手提供了具体证据,表明良好的设计和评估实践对于构建有效的人机交互系统至关重要。
引用
@article{arxiv.2407.09512,
title = {Design and evaluation of AI copilots -- case studies of retail copilot templates},
author = {Michal Furmakiewicz and Chang Liu and Angus Taylor and Ilya Venger},
journal= {arXiv preprint arXiv:2407.09512},
year = {2024}
}
备注
22 pages, 4 figures