利用无训练生成器网络进行潜空间解耦以隔离视频数据中的不同运动类型
图像与视频处理
2023-05-18 v2 计算机视觉与模式识别
机器学习
最优化与控制
摘要
隔离视频数据中不同类型的运动是一个与视频分析高度相关的问题。其应用可见于例如动态医学或生物成像中，其中感兴趣动态的分析与后续处理常因额外的非期望动态（如被测对象的运动）而变得复杂。本工作通过经验表明，借助无训练生成器网络对视频数据进行表示，配合一种利用部分底层动态的最小一维信息进行潜空间解耦的特定技术，可高效隔离不同的高度非线性运动类型。特别地，此种表示可冻结任意选定的运动类型，并获得其他感兴趣动态的精确独立表示。获得此种表示无需在任何训练数据集上预训练，即生成器网络的所有参数均直接从单段视频中学习。
引用
@article{arxiv.2205.10367,
title = {Latent-space disentanglement with untrained generator networks for the isolation of different motion types in video data},
author = {Abdullah Abdullah and Martin Holler and Karl Kunisch and Malena Sabate Landman},
journal= {arXiv preprint arXiv:2205.10367},
year = {2023}
}