U-LanD：不确定性驱动的视频关键点检测
计算机视觉与模式识别
2021-02-03 v1 机器学习
摘要
本文提出 U-LanD，一个用于视频中关键帧与关键点联合检测的框架。我们解决了一个特别具有挑战性的问题，其中训练标签有噪声且高度稀疏。U-LanD 建立在一个关键观察之上：仅在视频关键帧上训练的深层贝叶斯关键点检测器，在这些帧上的预测不确定性显著低于视频中其他帧。我们将此观察用作无监督信号，以自动识别关键帧并在其上检测关键点。作为我们框架的测试平台，我们使用心脏的超声成像视频，其中每个视频仅对单帧提供稀疏且有噪声的临床标签。使用来自 4,493 名患者的数据，我们证明 U-LanD 在 R2 分数上以 42% 的显著绝对优势超越最先进的非贝叶斯对应方法，且几乎不增加模型大小的额外开销。我们的方法是通用的，并有可能应用于其他具有有噪声且稀疏训练标签的困难数据。
引用
@article{arxiv.2102.01586,
title = {U-LanD: Uncertainty-Driven Video Landmark Detection},
author = {Mohammad H. Jafari and Christina Luong and Michael Tsang and Ang Nan Gu and Nathan Van Woudenberg and Robert Rohling and Teresa Tsang and Purang Abolmaesumi},
journal= {arXiv preprint arXiv:2102.01586},
year = {2021}
}