HookMIL：重新审视计算病理学中多实例学习的上下文建模
计算机视觉与模式识别
2025-12-30 v1 人工智能
摘要
多实例学习（MIL）已在计算病理学中实现对全切片图像（WSIs）的弱监督分析。然是，传统MIL方法常丢失关键上下文信息，而基于Transformer的变体虽然更具表达力，却受限于二次计算复杂度和冗余计算。为此，我们提出HookMIL，一个具备上下文感知且计算效率高的MIL框架，利用紧凑、可学习的钩子标记实现结构化上下文聚合。这些标记可从（i）关键病灶视觉特征、（ii）来自视觉语言病理模型的文本嵌入、（iii）来自空间转录组-视觉模型的空间导向特征初始化。这种多模态初始化使钩子标记能够整合丰富的文本和空间先验，加速收敛并提升表示质量。在训练期间，钩子标记通过与实例的双向注意力互动，实现线性复杂度。为进一步促进专门化，我们引入钩子多样性损失，以鼓励每个标记聚焦于不同的组织病理学模式。此外，钩子间通信机制在最小化冗余的同时细化上下文互动。广泛的实验表明，HookMIL在四个公开病理数据集上实现了最先进的性能，同时提升了计算效率和可解释性。代码已公开于https://github.com/lingxitong/HookMIL。
引用
@article{arxiv.2512.22188,
title = {HookMIL: Revisiting Context Modeling in Multiple Instance Learning for Computational Pathology},
author = {Xitong Ling and Minxi Ouyang and Xiaoxiao Li and Jiawen Li and Ying Chen and Yuxuan Sun and Xinrui Chen and Tian Guan and Xiaoping Liu and Yonghong He},
journal= {arXiv preprint arXiv:2512.22188},
year = {2025}
}