基于金字塔特征提取和 UNI 基础模型的组织病理报告自动生成

从组织病理全切片图像(WSI)生成诊断文本具有高程度挑战，主要源于输入的吉像级规模以及对精确、领域特定语言的要求。我们提出了一种层次化视觉语言框架，将冻结的病理基础模型与 Transformer 解码器相结合，用于报告生成。为使 WSI 处理可行，我们执行多分辨率金字塔块选择(下采样因子为 $2^3$ 至 $2^6$)，并使用 Laplacian 方差和 HSV 基准准则去除背景和制图。使用 UNI 视觉 Transformer 提取块特征，并投影到 6 层 Transformer 解码器，通过交叉注意力生成诊断文本。为更好地表示生物医学术语，我们对输出进行 BioGPT 分词。最后，我们添加了一个基于检索的验证步骤，该步骤使用 Sentence BERT 嵌入将生成的报告与参考语料库进行比较；如果发现高相似性匹配，则用检索到的参考准确报告替换生成的报告，以提高可靠性。