ControlCol：自动说话人视频上色的可控性
计算机视觉与模式识别
2024-08-22 v1
摘要
自动为黑白说话人视频上色是一项高度理想的技术。它是一项需要与人类互动以获得最佳结果的艺术性过程。许多现有的自动视频上色系统为用户提供了很少的机会来指导上色过程。本文介绍了一种新型的自动说话人视频上色系统，该系统在保持相对于最先进技术的高质量上色效果的同时，为用户提供了可控性。我们命名该系统为 ControlCol。ControlCol 在 PSNR、SSIM、FID 和 FVD 作为评估指标时，比之前的最先进技术 DeOldify 在 Grid 和 Lombard Grid 数据集上提升 3.5%。这一结果也得到了我们的肉眼评估的支持。在与 DeOldify 的对比中，ControlCol 被偏好 90% 的时间。可在补充材料中查看示例视频。
引用
@article{arxiv.2408.11711,
title = {ControlCol: Controllability in Automatic Speaker Video Colorization},
author = {Rory Ward and John G. Breslin and Peter Corcoran},
journal= {arXiv preprint arXiv:2408.11711},
year = {2024}
}