基于双稀疏光流分解的拉格朗日运动放大
计算机视觉与模式识别
2024-01-17 v2
摘要
微表情是快速且空间上微小的面部表情，难以检测。因此，旨在放大并由此揭示视频中细微运动的活动放大技术，似乎有助于处理此类表情。基本上有两种主要方法，即欧拉法和拉格朗日法。前者通过直接对图像像素操作来隐式放大运动，而拉格朗日法则使用光流（OF）技术提取并放大像素轨迹。本文中，我们提出一种用于面部微运动局部拉格朗日运动放大的新方法。我们的贡献有三方面：首先，我们通过将在 CASME II 面部微表情视频集上应用的变分稠密逆搜索（DIS）光流算法获得的真值加入，对用于光流的循环全对场变换（RAFT）深度学习方法进行面向人脸的微调。这使我们能够以高效且足够准确的方式生成面部视频的光流。其次，由于面部微运动在时空上均局部，我们提出用空间与时间上的稀疏分量来近似光流场，从而得到双稀疏分解。第三，我们利用该分解放大面部特定区域的微运动，其中我们引入了一种新的前向扭曲策略，使用图像网格的三角剖分以及对变换后三角形顶点处 RGB 向量的重心插值。我们通过多个示例证明了我们方法的可行性。
引用
@article{arxiv.2204.07636,
title = {Lagrangian Motion Magnification with Double Sparse Optical Flow Decomposition},
author = {Philipp Flotho and Cosmas Heiss and Gabriele Steidl and Daniel J. Strauss},
journal= {arXiv preprint arXiv:2204.07636},
year = {2024}
}