受工作记忆启发的具有变换表征的分层视频分解
计算机视觉与模式识别
2022-05-09 v3 人工智能
机器学习
医学物理
摘要
视频分解在计算机视觉、机器学习和医学影像中对于从复杂背景提取运动前景物体非常重要,例如从 X 射线冠状动脉造影(XCA)的复杂含噪背景中提取运动造影剂充盈血管。然而,动态背景、重叠异构环境和复杂噪声带来的挑战在视频分解中依然存在。为解决这些问题,本研究首次在视频分解任务中引入灵活的视觉工作记忆模型,从视觉与认知神经科学视角整合感知层与控制层之间的变换表征,提供可解释且高性能的分层深度架构。具体而言,作为结构正则化感知层稳健 PCA 展开网络将 XCA 分解为稀疏/低秩结构化表征,以从含噪复杂背景中分离运动造影剂充盈血管。随后,带反投影模块的块循环卷积 LSTM 网络体现工作记忆中控制层的非结构化随机表征,循环地将时空分解的非局部块投影到正交子空间以进行异构血管检索与干扰抑制。该视频分解深度架构有效恢复了运动物体在复杂背景干扰下的强度异构轮廓与几何形态。实验表明,所提方法在精确提取运动造影剂充盈血管方面显著优于最先进方法,并具有优异的灵活性与计算效率。
引用
@article{arxiv.2204.10105,
title = {Working memory inspired hierarchical video decomposition with transformative representations},
author = {Binjie Qin and Haohao Mao and Ruipeng Zhang and Yueqi Zhu and Song Ding and Xu Chen},
journal= {arXiv preprint arXiv:2204.10105},
year = {2022}
}