超越黑盒：通过 VISTA 揭示多轮 LLM 推理
计算与语言
2025-11-14 v1
摘要
近期研究越来越关注大型语言模型（LLM）在多轮交互中的推理能力，因为这些情境更贴近现实世界的问题解决场景。然而，由于复杂的上下文依赖和缺乏专门的可视化工具，分析这些交互中复杂的推理过程 presents a significant challenge, leading to a high cognitive load for researchers. 为了弥合这一差距, 我们提出 VISTA, 一个用于多轮推理任务的文本分析的 web 式视觉互动系统。VISTA 允许用户可视化上下文对模型决策的影响, 并通过交互式修改对话历史在不同模型之间进行 "what-if" 分析。此外, 该平台可以自动解析一个会话并生成推理依赖树, 提供模型逐步逻辑路径的透明视图。通过提供统一且互动的框架, VISTA 显著降低了分析推理链的复杂性, 从而促进了对当前 LLM 能力与局限性的更深入理解。该平台开源并支持易于集成自定义基准和本地模型的集成。
引用
@article{arxiv.2511.10182,
title = {Beyond the Black Box: Demystifying Multi-Turn LLM Reasoning with VISTA},
author = {Yiran Zhang and Mingyang Lin and Mark Dras and Usman Naseem},
journal= {arXiv preprint arXiv:2511.10182},
year = {2025}
}