跃入记忆：时空深度特征合成
计算机视觉与模式识别
2023-07-26 v4
摘要
深度学习模型的成功导致它们被主流视频理解方法所采纳与适应。这些方法中的大多数在联合时空模态中编码特征，其内在机制与所学表示难以进行视觉解释。我们提出 LEArned Preconscious Synthesis (LEAPS)，一种与架构无关的方法，用于从模型的内部时空表示合成视频。利用刺激视频与目标类别，我们对固定的时空模型进行 priming，并迭代优化以随机噪声初始化的视频。额外的正则化器用于改善合成视频的特征多样性以及运动的交叉帧时间相干性。我们通过反演在 Kinetics-400 上训练的一系列时空卷积与基于注意力的架构，定量与定性地评估了 LEAPS 的适用性，据我们所知这此前未曾实现。
引用
@article{arxiv.2303.09941,
title = {Leaping Into Memories: Space-Time Deep Feature Synthesis},
author = {Alexandros Stergiou and Nikos Deligiannis},
journal= {arXiv preprint arXiv:2303.09941},
year = {2023}
}
备注
Accepted at IEEE/CVF International Conference on Computer Vision (ICCV) 2023