面向结构化病理报告预测的分层视觉-语言对齐——HiPath
计算机视觉与模式识别
2026-03-23 v1 人工智能
机器学习
摘要
病理报告是结构化的、多粒度的文档，编码诊断结论、组织学分级以及一个或多个解剖部位的辅助检测结果；然而现有的病理视觉-语言模型（VLM）将此类输出简化为平坦标签或自由形式文本。我们提出 HiPath，一个建立在冻结 UNI2 和 Qwen3 主干网络之上的轻量级 VLM 框架，将结构化报告预测作为主要训练目标。三个可训练模块总计 1500 万参数解决问题的互补方面：分层补丁聚合器（HiPA）用于多图像视觉编码，分层对比学习（HiCL）用于通过最优传输实现跨模态对齐，以及基于槽位的掩码诊断预测（Slot-MDP）用于结构化诊断生成。在三个医院收集的 74.9 万例真实中文病理病例上进行训练，HiPath 在严格准确率达到 68.9%，临床可接受准确率达到 74.7%，安全率达到 97.3%，优于相同冻结主干网络下的所有基线。跨医院评估确认了泛化能力，严格准确率下降仅 3.4 个百分点，同时保持 97.1% 的安全率。
引用
@article{arxiv.2603.19957,
title = {HiPath: Hierarchical Vision-Language Alignment for Structured Pathology Report Prediction},
author = {Ruicheng Yuan and Zhenxuan Zhang and Anbang Wang and Liwei Hu and Xiangqian Hua and Yaya Peng and Jiawei Luo and Guang Yang},
journal= {arXiv preprint arXiv:2603.19957},
year = {2026}
}
备注
10 pages, 1 figures, 3 tables