计算病理学的多模态模型：表示学习与图像压缩
计算机视觉与模式识别
2026-03-20 v1
摘要
全切片成像 (WSI) 通过使对 gigapixel 级别组织病理学图像的计算分析成为可能，彻底改变了数字病理学。最近的基础模型进展加速了计算病理学的进展，促进了病理图像、临床报告和结构化数据之间的联合推理。尽管取得了这些进展，但仍存在挑战：WSI 的极端分辨率给视觉学习带来了计算障碍；专家标注的有限性限制了监督方法；在保持生物学可解释性的同时整合多模态信息仍然困难；对超长视觉序列建模的不透明性阻碍了临床透明度。本综述全面调查了多模态计算病理学的最新进展。我们系统地分析了四个研究方向：(1) WSI 的自监督表示学习与结构感知的令牌压缩；(2) 多模态数据生成与增强；(3) 参数高效适配与推理增强的少样本学习；(4) 用于可信诊断的多智能体协作推理。我们特别考察了令牌压缩如何实现跨尺度建模，以及多智能体机制如何模拟病理学家在不同放大倍数下的「思维链」以实现不确定性感知的证据融合。最后，我们讨论了开放挑战，并认为未来进展取决于将高分辨率视觉数据与临床和生物医学知识相统一的统一多模态框架，以支持可解释和安全的 AI 辅助诊断。
引用
@article{arxiv.2603.18660,
title = {Multimodal Model for Computational Pathology:Representation Learning and Image Compression},
author = {Peihang Wu and Zehong Chen and Lijian Xu},
journal= {arXiv preprint arXiv:2603.18660},
year = {2026}
}