AKiRa：用于光学视频生成的光线增强套件
计算机视觉与模式识别
2024-12-31 v2 人工智能
多媒体
摘要
文本条件视频扩散的最新进展极大地提升了视频质量。然而，这些方法为用户提供的对相机方面的控制有限，有时甚至没有控制，包括动态相机运动、缩放、畸变镜头和焦点切换。这些运动与光学方面对于为生成框架添加可控性和电影元素至关重要，最终能够产生根据电影制作人的控制来吸引注意力、增强情绪并引导情感的视觉内容。在本文中，我们旨在弥合可控视频生成与相机光学之间的差距。为此，我们提出了 AKiRa（Augmentation Kit on Rays），这是一种新颖的增强框架，它在现有视频生成骨干网络上构建并训练了一个具有复杂相机模型的相机适配器。它实现了对相机运动以及复杂光学参数（焦距、畸变、光圈）的微调控制，以实现诸如缩放、鱼眼效果和焦外虚化等电影效果。大量实验证明了 AKiRa 在组合和合成相机光学方面的有效性，同时优于所有 SOTA 方法。这项工作在可控和光学增强的视频生成方面树立了新的里程碑，为未来的光学视频生成方法铺平了道路。
引用
@article{arxiv.2412.14158,
title = {AKiRa: Augmentation Kit on Rays for optical video generation},
author = {Xi Wang and Robin Courant and Marc Christie and Vicky Kalogeiton},
journal= {arXiv preprint arXiv:2412.14158},
year = {2024}
}