双模态预测与变换编码用于压缩复杂人类动力学
信号处理
2025-09-23 v1 多媒体
摘要
对于动态人类运动序列，原始的基于关键节点驱动的编码器在面对快速运动或强非刚性变形时常难以保持压缩效率。本文提出了一种新颖的双模态编码框架，通过集成语义分割和区域特定变换建模来增强运动表示的灵活性。刚性变换模型（旋转与平移）扩展为一种混合方案，对变形丰富的区域（例如，因松散服装引起的高变异性的躯干区域）选择性地应用仿射变换——仅包括旋转、平移、缩放和剪切——而在其他区域保留刚性模型。仿射模型分解为最小参数集以实现高效编码，并通过受拉格朗日率失真优化指导的组件选择策略进行组合。结果表明，双模态方法在涉及复杂非刚性运动的序列中实现更精确的网格变形，同时未损害简单区域的压缩效率，平均比基线方法节省33.81%的比特率。
引用
@article{arxiv.2509.16919,
title = {Bi-modal Prediction and Transformation Coding for Compressing Complex Human Dynamics},
author = {Huong Hoang and Keito Suzuki and Truong Nguyen and Pamela Cosman},
journal= {arXiv preprint arXiv:2509.16919},
year = {2025}
}