语义提交:帮助用户按规模更新 AI 记忆中的意图规范
人机交互
2025-04-15 v1 人工智能
摘要
我们如何更新用户意图随意图变化而变化的AI记忆?我们考虑AI界面如何帮助将新信息整合到自然语言数据的存储库中。着眼于软件工程中的影响分析等概念,我们开发了方法和界面,用于管理具有非局部影响的语义变更,我们称之为"语义冲突解决"。用户提交新的意图到项目——做出"语义提交",AI帮助用户检测和解决存储表示用户意图(即"意图规范")中的语义冲突。我们开发了一个界面SemanticCommit,以更好地理解用户在更新意图规范(如Cursor规则和游戏设计文档)时如何解决冲突。基于知识图谱的RAG管道驱动冲突检测,而LLMs则辅助建议解决方案。我们对初步基准进行了评估。随后,我们报告了12名用户的within-subjects研究,针对两个任务域——游戏设计文档和类似ChatGPT记忆的AI代理记忆——用户将新信息整合到现有列表中。我们结果显示,尽管用户可访问全局修订功能,但半数的参与者采用了影响分析工作流程,即他们首先在AI修订后标记冲突,然后在本地解决冲突。我们认为,AI代理界面(如Cursor和Windsurf等软件IDE)应提供影响分析的便利性,并帮助用户独立于生成验证AI检索。我们的工作涉及AI代理设计者如何将更新记忆视为涉及人类反馈和决策的过程。
引用
@article{arxiv.2504.09283,
title = {Semantic Commit: Helping Users Update Intent Specifications for AI Memory at Scale},
author = {Priyan Vaithilingam and Munyeong Kim and Frida-Cecilia Acosta-Parenteau and Daniel Lee and Amine Mhedhbi and Elena L. Glassman and Ian Arawjo},
journal= {arXiv preprint arXiv:2504.09283},
year = {2025}
}
备注
22 pages; 10 figures