InconLens：基于LLM的智能体系统中行为不一致性的交互式可视化诊断
人机交互
2026-03-31 v1
摘要
基于大语言模型(LLM)的智能体系统在通过自主规划、推理以及与外部环境交互来处理复杂的多步骤任务方面展现出越来越大的潜力。然而，LLM生成的随机性引入了内在的行为不一致性：在相同输入下，同一个智能体可能在一次执行中成功，而在另一次执行中失败。诊断此类不一致性对开发者来说仍然是一个重大挑战，因为智能体的执行日志通常冗长、非结构化，并且难以跨运行进行比较。现有的调试和评估工具主要侧重于检查单次执行，对于理解智能体行为在重复运行中如何以及为何出现分歧的支持有限。为了应对这一挑战，我们引入了InconLens，一个可视化分析系统，旨在支持对基于LLM的智能体系统进行交互式诊断，特别关注跨运行的行为分析。InconLens引入了信息节点作为中间抽象，捕获跨执行共享的关键信息里程碑，从而能够对多次运行中的智能体推理轨迹进行语义对齐和检查。我们通过一个详细的案例研究展示了InconLens的有效性，并通过专家访谈进一步验证了其可用性和分析价值。我们的结果表明，InconLens使开发者能够更有效地识别分歧点，揭示潜在的失败模式，并获得关于提高智能体系统可靠性和稳定性的可操作见解。
引用
@article{arxiv.2603.28106,
title = {InconLens: Interactive Visual Diagnosis of Behavioral Inconsistencies in LLM-based Agentic Systems},
author = {Shuo Yan and Xiaolin Wen and Shaolun Ruan and Yanjie Zhang and Jiaming Mi and Yushi Sun and Huamin Qu and Rui Sheng},
journal= {arXiv preprint arXiv:2603.28106},
year = {2026}
}