测量与预测病理学家在癌症全切片图像评分时所关注的视觉注意力
图像与视频处理
2025-08-05 v1 计算机视觉与模式识别
摘要
预测专家病理学家的注意力能够导致更好的病理学培训决策支持系统。我们开发了方法来预测病理学家注意力的时空（即何时何处）运动，作为他们评估前列腺癌全切片图像（WSI）的过程。我们通过数字显微镜中视口的x、y和m（放大倍数）运动来表征病理学家的注意力轨迹。该信息来自123个WSI上的43名病理学家，我们考虑预测由视口中心构成的注意力扫描轨迹的任务。我们引入了一个简化注意力轨迹的注视提取算法，通过提取病理学家观看时的注视点来简化注意力轨迹，同时保留语义信息。我们使用这些预处理后的数据来训练和测试一个两阶段模型，以预测WSI阅读期间注意力扫描轨迹的动态分配，方法是通过中间注意力热图预测。在第一阶段，一个基于转换器的子网络预测不同放大倍数下的注意力热图（静态注意力）。在第二阶段，我们通过基于转换器的方法按顺序建模下一个注视点的预测，从WSI中心开始，并利用来自第一阶段的多放大倍数特征表示。实验结果表明，我们的扫描轨迹预测模型优于随机和基线模型。从本模型开发的工具可以帮助病理学培训生像专家一样分配他们的注意力在WSI阅读中。
引用
@article{arxiv.2508.01668,
title = {Measuring and Predicting Where and When Pathologists Focus their Visual Attention while Grading Whole Slide Images of Cancer},
author = {Souradeep Chakraborty and Ruoyu Xue and Rajarsi Gupta and Oksana Yaskiv and Constantin Friedman and Natallia Sheuka and Dana Perez and Paul Friedman and Won-Tak Choi and Waqas Mahmud and Beatrice Knudsen and Gregory Zelinsky and Joel Saltz and Dimitris Samaras},
journal= {arXiv preprint arXiv:2508.01668},
year = {2025}
}
备注
Accepted to Medical Image Analysis (MEDIA), Elsevier, 2025. This is the accepted manuscript version; the final published article link will be updated when available