用于超声成像中视频摘要的无监督多潜空间强化学习框架
图像与视频处理
2021-09-06 v1 计算机视觉与模式识别
摘要
COVID-19大流行凸显了对一种工具的需求，以加速超声扫描中的分诊并为临床医生提供快速获取相关信息的途径。所提出的视频摘要技术朝此方向迈进了一步，为临床医生提供给定超声扫描（如肺部超声）的相关关键帧，同时降低资源、存储和带宽需求。我们提出一种新的无监督强化学习（RL）框架及新颖奖励，促进无监督学习，避免繁琐且不切实际的人工标注，以摘要超声视频，从而增强其作为急诊科（ED）分诊工具和远程医疗用途的效用。使用编码器的注意力集成，高维图像被投影到低维潜空间：a) 与正常或异常类的减小距离（分类器编码器），b) 遵循标志点拓扑（分割编码器），以及 c) 距离或拓扑无关的潜表示（卷积自编码器）。解码器使用双向长短期记忆（Bi-LSTM）实现，其利用来自编码器的潜空间表示。我们这种新的视频摘要范式能够为每个摘要关键帧提供分类标签和标志点分割。验证在肺部超声（LUS）数据集上执行，该数据集典型代表了跨地域（印度、西班牙和加拿大）不同医疗中心获取的远程医疗和ED分诊中的潜在用例。
引用
@article{arxiv.2109.01309,
title = {Unsupervised multi-latent space reinforcement learning framework for video summarization in ultrasound imaging},
author = {Roshan P Mathews and Mahesh Raveendranatha Panicker and Abhilash R Hareendranathan and Yale Tung Chen and Jacob L Jaremko and Brian Buchanan and Kiran Vishnu Narayan and Kesavadas C and Greeta Mathews},
journal= {arXiv preprint arXiv:2109.01309},
year = {2021}
}
备注
24 pages, submitted to Elsevier Medical Image Analysis for review