解码病理学家的视觉注意力以揭示其专业水平
图像与视频处理
2024-03-27 v1 计算机视觉与模式识别
摘要
我们提出一种基于病理学家在癌症阅片过程中如何分配注意力来对其专业水平进行分类的方法。我们通过开发一种新颖的方法来预测病理学家在阅读前列腺全切片图像（WSI）并进行癌症分级时的注意力，从而完成这一解码任务。我们对病理学家注意力的真实度量是他们在阅片期间浏览WSI时视口的x、y和z（放大倍数）移动，迄今为止我们拥有43位病理学家阅读123张WSI的注意力行为数据。这些数据揭示，与普通病理学家和住院医师相比，专科医生在注意力和癌症分级上具有更高的一致性，表明他们的注意力行为中可能存在足够的信息来对其专业水平进行分类。为此，我们训练了一个基于Transformer的模型，用于预测住院医师、普通病理学家和专科（GU）病理学家在Gleason分级期间的视觉注意力热图。仅基于病理学家在阅片期间的注意力，我们的模型预测其专业水平的准确率分别达到75.3%、56.1%和77.2%，优于随机猜测和基线模型。因此，我们的模型能够轻松客观地评估病理学家的专业水平，这对病理学培训和能力评估至关重要。基于我们模型开发的工具也可用于帮助病理学受训者学习如何像专家一样阅读WSI。
引用
@article{arxiv.2403.17255,
title = {Decoding the visual attention of pathologists to reveal their level of expertise},
author = {Souradeep Chakraborty and Dana Perez and Paul Friedman and Natallia Sheuka and Constantin Friedman and Oksana Yaskiv and Rajarsi Gupta and Gregory J. Zelinsky and Joel H. Saltz and Dimitris Samaras},
journal= {arXiv preprint arXiv:2403.17255},
year = {2024}
}