LAMMI-Pathology：面向病理学的基于工具的自下而上 LVLM 代理框架
人工智能
2026-02-24 v1
摘要
工具调用型代理系统的出现引入了更以证据为导向的病理图像分析范式，以区别于粗粒度的文本-图像诊断方法。随着空间转录组技术在大规模实验中的广泛采用，分子验证的病理学诊断正变得越来越开放和可及。在本工作中，我们提出 LAMMI-Pathology（LVLM-Agent System for Molecularly Informed Medical Intelligence in Pathology），即面向病理学的可扩展代理框架。LAMMI-Pathology 采用工具导向、自下而上的架构，定制的领域适应性工具作为基础。这些工具按领域风格聚类，形成组件代理，再通过顶层规划器进行层次协调，避免因上下文长度过长导致任务漂移。基于此，我们引入基于原子执行节点（AENs）的轨迹构建机制，作为构建半模拟推理轨迹的可靠且可组合的单元，捕获可信的代理-工具交互。在此基础上，我们开发了轨迹感知的微调策略，将规划器的决策过程与这些多步骤推理轨迹对齐，从而增强病理理解中的推理鲁棒性及其对定制工具集的适应性使用。
引用
@article{arxiv.2602.18773,
title = {LAMMI-Pathology: A Tool-Centric Bottom-Up LVLM-Agent Framework for Molecularly Informed Medical Intelligence in Pathology},
author = {Haoyang Su and Shaoting Zhang and Xiaosong Wang},
journal= {arXiv preprint arXiv:2602.18773},
year = {2026}
}