面向下一代科学可视化的自我精炼、领域感知工作流程——VizGenie
人机交互
2025-07-30 v1 人工智能
图形学
机器学习
摘要
我们提出VizGenie，这是一个自我改进的、基于代理的框架，通过大型语言模型（LLM）推动科学可视化，通过编排一系列领域特定的动态生成模块来实现。用户通过预存在的工具访问核心功能——如基于阈值的过滤、切片提取和统计分析。对于超出此基线的任务，VizGenie自主地利用LLM生成新的可视化脚本（例如VTK Python代码），按需扩展其功能。每个生成的脚本都经过自动后端验证并在成功测试后无缝集成，不断增强系统的适应性和鲁棒性。VizGenie的一个独特特性是直观的自然语言界面，允许用户通过高层次的基于特征的查询（例如“可视化颅骨”）发出指令。系统利用基于图像的分析和视觉问答（VQA）通过微调视觉模型来精确解释这些查询，桥接领域专业知识与技术实现。此外，用户可以通过VQA交互式查询生成的可视化，促进更深入的探索。通过检索增强生成（RAG），可进一步强强可靠性和可重复性，提供情境驱动的响应并维护全面的源信息记录。在复杂体数据上的评估表明，显著降低了迭代可视化任务的认知负荷。通过将精选的领域特定工具与LLM驱动的灵活性相结合，VizGenie不仅加速了洞察生成，还建立了一个可持续、持续演化的可视化实践。该平台动态地从用户交互中学习，持续增强对特征导向探索和可重复科学研究的支持。
引用
@article{arxiv.2507.21124,
title = {VizGenie: Toward Self-Refining, Domain-Aware Workflows for Next-Generation Scientific Visualization},
author = {Ayan Biswas and Terece L. Turton and Nishath Rajiv Ranasinghe and Shawn Jones and Bradley Love and William Jones and Aric Hagberg and Han-Wei Shen and Nathan DeBardeleben and Earl Lawrence},
journal= {arXiv preprint arXiv:2507.21124},
year = {2025}
}