PathMem：面向肿瘤病理 MLLM 的认知对齐记忆变换
人工智能
2026-05-26 v2
摘要
计算生物医学影像学要求同时具备视觉模式识别能力和结构化领域知识的动态整合，包括分类学、分级标准及临床证据。在实践中，诊断推理需要将形态学证据与形式化诊断和分级标准进行关联。尽管多模态大语言模型（MLLM）展示出强大的视觉语言推理能力，但它们缺乏对结构化知识整合和可解释记忆控制的显式机制。因此，现有模型在推理过程中难以始终稳健地纳入肿瘤病理学特定的诊断标准。致力于人类病理学家层次化记忆过程的启发，我们提出PathMem，这是一个面向肿瘤病理 MLLM 的记忆中心框架。PathMem 将结构化病理学知识组织为长期记忆（LTM），并引入记忆 Transformer，通过多模态记忆激活和上下文感知知识 grounding，建模从 LTM 到工作记忆（WM）的动态转换，实现面向下游推理的上下文感知记忆细化。PathMem 在基准测试中实现了 SOTA 性能，WSI-Bench 报告生成性能提升（12.8% WSI-Precision，10.1% WSI-Relevance），开放式诊断性能提升 9.7% 和 8.9%。
引用
@article{arxiv.2603.09943,
title = {PathMem: Toward Cognition-Aligned Memory Transformation for Pathology MLLMs},
author = {Jinyue Li and Yuci Liang and Qiankun Li and Xinheng Lyu and Jiayu Qian and Huabao Chen and Kun Wang and Zhigang Zeng and Anil Anthony Bharath and Yang Liu},
journal= {arXiv preprint arXiv:2603.09943},
year = {2026}
}