查询感知：面向巨像素图像的查询自适应动态长序列建模
计算机视觉与模式识别
2025-05-27 v2
摘要
全切片图像(WSI)分析因巨型图像中海量 patch 数目而面临巨大的计算挑战。尽管transformer架构通过自注意力机制在建模长程关联方面表现出色，但其二次计算复杂度在计算病理学应用中难以实用。现有解决方案如局部-全局或线性自注意力虽降低了计算成本，但妥协了完整自注意力的强大建模能力。本文提出了Querent，即查询感知的长程上下文动态建模框架，实现了对完整自注意力的理论上有界逼近，同时实现了实际效率。该方法自适应预测每个 patch 最相关的周边区域，使注意力计算仅针对可能重要的上下文，实现聚焦且不受限制的注意力计算。通过高效的区域级元数据计算和重要性估计，我们的方法显著降低了计算开销，同时保持全局感知，建模细粒度的 patch 关联。通过在10多个WSI数据集上的全面实验，我们的方法在生物标志物预测、基因突变预测、癌症亚型划分和生存分析等方面优于当前最先进的方法。代码已公开于 https://github.com/dddavid4real/Querent。
引用
@article{arxiv.2501.18984,
title = {Context Matters: Query-aware Dynamic Long Sequence Modeling of Gigapixel Images},
author = {Zhengrui Guo and Qichen Sun and Jiabo Ma and Lishuang Feng and Jinzhuo Wang and Hao Chen},
journal= {arXiv preprint arXiv:2501.18984},
year = {2025}
}
备注
Accepted by ICML 2025