基于补充增强信息的生成人脸视频压缩标准化
计算机视觉与模式识别
2025-09-19 v3
摘要
本文提出一种基于补充增强信息 (SEI) 的生成人脸视频压缩 (GFVC) 方法，该方法将一系列紧凑的人脸视频信号的空间和时间表示（例如 2D/3D 关键点、面部语义和紧凑特征）编码为 SEI 消息并插入到编码视频比特流中。在撰写本文时，作者提出的基于 SEI 消息的 GFVC 方法已被 ISO/IEC JTC 1/SC 29 和 ITU-T SG21 的联合视频专家小组 (JVET) 包含在 H.274 | ISO/IEC 23002-7 草案修订案中，该标准将被标准化为新的 H.274 版本。据作者所知，JVET 对该 SEI 基于 GFVC 方法的工作是首个针对生成视频压缩的标准化活动。该 SEI 方法不仅通过最新技术实现了对早期基于模型的编码 (MBC) 的重建质量提升，还为未来 GFVC 应用和部署建立了新的 SEI 定义。实验结果表明，基于 SEI 的 GFVC 方法在与最新的通用视频编码 (VVC) 标准相比，能够实现显著的比特率-失真性能，同时还可能支持各种功能，包括用户指定的动画/过滤和元宇宙相关应用。
引用
@article{arxiv.2410.15105,
title = {Standardizing Generative Face Video Compression using Supplemental Enhancement Information},
author = {Bolin Chen and Yan Ye and Jie Chen and Ru-Ling Liao and Shanzhi Yin and Shiqi Wang and Kaifa Yang and Yue Li and Yiling Xu and Ye-Kui Wang and Shiv Gehlot and Guan-Ming Su and Peng Yin and Sean McCarthy and Gary J. Sullivan},
journal= {arXiv preprint arXiv:2410.15105},
year = {2025}
}