通过建模超声医师视觉注意力学习超声图像表示
计算机视觉与模式识别
2019-05-28 v2 机器学习
神经与进化计算
摘要
图像表示通常从类别标签学习，而类别标签是对人类图像理解的一种简化近似。本文中我们证明，通过建模人类视觉注意力，无需人工标注即可学习可迁移的图像表示。我们分析的基础是一份独特的超声医师注视追踪数据集，记录了其执行常规临床胎儿异常筛查的过程。通过训练卷积神经网络（CNN）在超声视频帧上经由视觉显著性预测或注视点回归来预测注视，学习超声医师视觉注意力模型。我们在两种情境下评估所学表示到超声标准平面检测任务的迁移性。首先，我们使用数量有限的标注标准平面图像微调 CNN 来进行迁移学习。我们发现微调显著性预测器优于从随机初始化训练，整体平均 F1 分数提升 9.6%，心脏平面提升 15.3%。其次，我们在各 CNN 层的特征激活上训练简单 softmax 回归，以独立于迁移学习超参数评估表示。我们发现注意力模型导出强表示，除最后一层外均接近全监督基线模型的精度。
引用
@article{arxiv.1903.02974,
title = {Ultrasound Image Representation Learning by Modeling Sonographer Visual Attention},
author = {Richard Droste and Yifan Cai and Harshita Sharma and Pierre Chatelain and Lior Drukker and Aris T. Papageorghiou and J. Alison Noble},
journal= {arXiv preprint arXiv:1903.02974},
year = {2019}
}
备注
Accepted at the international conference on Information Processing in Medical Imaging (IPMI) 2019