VISION：面向科学用户设施的自然人机交互模块化 AI 助手
人工智能
2025-07-22 v1
摘要
科学用户设施（如同步辐射光束线）配备了多种硬件和软件工具，需代码实现人机交互。这往往需要开发者参与以建立用户/研究人员与复杂仪器之间的连接。生成式 AI 的出现为填补这一知识鸿沟提供了机遇，实现无缝沟通和高效实验工作流程。我们在此展示了面向科学用户设施的模块化架构，即 Virtual Scientific Companion（VISION），通过组合多个 AI 启用认知模块来支撑大语言模型（LLM）完成特定任务。借助 VISION，我们在光束线工作站上实现了低延迟的 LLM 操作，并演示了 X 射线散射光束线上首个语音控制实验。模块化和可扩展架构允许轻松适配新的仪器和功能。基于自然语言的科学实验开发是即将到来人类认知合成扩展（science exocortex）——一种向科学家认知的合成扩展——的基础，该扩展可能根本性地变革科学实践与发现。
引用
@article{arxiv.2412.18161,
title = {VISION: A Modular AI Assistant for Natural Human-Instrument Interaction at Scientific User Facilities},
author = {Shray Mathur and Noah van der Vleuten and Kevin Yager and Esther Tsai},
journal= {arXiv preprint arXiv:2412.18161},
year = {2025}
}