Adobe Summit Concierge 评估：人类在环
人工智能
2025-11-06 v1
摘要
生成式 AI 助手在企业环境中具有显著的潜力，可提升生产力、简化信息获取并改善用户体验。在本工作中，我们介绍了 Summit Concierge——一个为 Adobe Summit 开发的领域特定 AI 助手。该助手处理广泛的事件相关查询，在现实世界的约束下运行，如数据稀疏、质量保证和快速部署。为应对这些挑战，我们采用一种人类在环开发工作流程，将提示工程、检索 grounding 与轻量级人类验证相结合。我们描述了系统架构、开发过程以及现实部署结果。我们的经验表明，敏捷的、以反馈为导向的开发方式即使在 cold-start 场景下也能实现可扩展且可靠的 AI 助手。
关键词
引用
@article{arxiv.2511.03186,
title = {Adobe Summit Concierge Evaluation with Human in the Loop},
author = {Yiru Chen and Sally Fang and Sai Sree Harsha and Dan Luo and Vaishnavi Muppala and Fei Wu and Shun Jiang and Kun Qian and Yunyao Li},
journal= {arXiv preprint arXiv:2511.03186},
year = {2025}
}
备注
Accepted by 6th Workshop on Data Science with Human in the Loop @ VLDB 2025