超越显示器：用于增强数字病理工作流程的混合现实可视化与多模态人工智能
人机交互
2026-02-27 v2 人工智能
新兴技术
组织与器官
摘要
病理学家使用千兆像素的全切片图像（WSI）诊断癌症，但当前的数字工作流程是割裂的。这些多尺度数据集通常超过100,000 x 100,000像素，然而标准的2D显示器限制了视野。这种差异迫使病理学家不断进行平移和缩放，增加了认知负荷并打断了诊断节奏。我们推出了PathVis，一个为Apple Vision Pro设计的混合现实平台，将这一生态系统统一到一个沉浸式环境中。PathVis用具身交互取代了间接的鼠标导航，利用眼动追踪、自然手势和语音命令来探索千兆像素数据。该系统集成了多模态AI代理以支持计算机辅助诊断：一个基于内容的图像检索引擎在空间上显示相似的患者病例，以便进行并排的预后比较，而一个对话式助手则提供实时解读。通过将沉浸式可视化与集成的AI能力相结合，PathVis在简化诊断工作流程和减轻上下文切换负担方面展现出潜力。本文介绍了系统架构和初步的定性评估，证明了该平台的可行性。PathVis的源代码和演示视频可在以下链接公开获取：https://github.com/jaiprakash1824/Path_Vis。
引用
@article{arxiv.2505.02780,
title = {Beyond the Monitor: Mixed Reality Visualization and Multimodal AI for Enhanced Digital Pathology Workflow},
author = {Jai Prakash Veerla and Partha Sai Guttikonda and Helen H. Shang and Mohammad Sadegh Nasr and Cesar Torres and Jacob M. Luber},
journal= {arXiv preprint arXiv:2505.02780},
year = {2026}
}