探索视频扩散模型的数据免费 LoRA 迁移性
计算机视觉与模式识别
2026-05-05 v1
摘要
利用步骤蒸馏或因果蒸馈实现的视频扩散模型取得了显著性能。然而，将现有 LoRA 适用于这些变体仍是一个关键挑战，due to 权重空间不匹配。我们观察到直接应用会导致风格退化和结构坍塌，但其背后机制仍鲜有了解。为填补这一空白，我们深入分析权重空间，识别不兼容性源于共享功能簇在奇异子空间上定义的谱干扰。具体而言，我们的分析揭示，尽管两种范式都尊重谱刚性，但它们建立了冲突的路由路径，这些路径通过构造性过载或破坏性消减相互冲突。为解决此问题，我们提出了 Cluster-Aware Spectral Arbitration (CASA)，一个数据免费框架，动态在保护目标流形和恢复 LoRA 对齐之间进行仲裁，基于谱密度。广泛的实验表明，CASA 有效缓解了artifacts并恢复了 LoRA 功能。我们的代码可在 https://github.com/Noahwangyuchen/CASA 获取。
引用
@article{arxiv.2605.01929,
title = {Exploring Data-Free LoRA Transferability for Video Diffusion Models},
author = {Yuchen Wang and Wenliang Zhong and Lichen Bai and Zikai Zhou and Shitong Shao and Bojun Cheng and Shuo Chen and Shuo Yang and Zeke Xie},
journal= {arXiv preprint arXiv:2605.01929},
year = {2026}
}
备注
Accepted to ICML 2026