DyNCA：基于神经细胞的实时动态纹理合成
计算机视觉与模式识别
2023-04-03 v2 图形学
机器学习
摘要
现有的动态纹理合成（DyTS）模型可合成逼真的视频。然而，它们需要缓慢的迭代优化过程来合成单个固定尺寸短视频，且不能在训练后提供对合成过程的任何控制。我们提出动态神经胞自动机（DyNCA），一种用于实时且可控动态纹理合成的框架。我们的方法基于最近提出的 NCA 模型构建，能够实时合成无限长且任意尺寸的逼真视频纹理。我们从定量与定性上评估了模型，并显示我们合成的视频比现有结果更逼真。我们将 SOTA DyTS 性能提升了 个数量级。此外，我们的模型提供若干实时视频控制功能，包括运动速度、运动方向以及编辑笔刷工具。我们在在线交互演示中展示了训练好的模型，该演示运行于本地硬件，可在个人电脑与智能手机上访问。
引用
@article{arxiv.2211.11417,
title = {DyNCA: Real-time Dynamic Texture Synthesis Using Neural Cellular Automata},
author = {Ehsan Pajouheshgar and Yitao Xu and Tong Zhang and Sabine Süsstrunk},
journal= {arXiv preprint arXiv:2211.11417},
year = {2023}
}
备注
Link to the demo: https://dynca.github.io/