基于熵引导的优先级渐进学习在人类视频生成中的高效训练
计算机视觉与模式识别
2025-11-27 v1 人工智能
摘要
随着扩散模型的发展，人类视频生成取得了快速进展，但在高分辨率、多帧数据上训练这些模型所需的高计算成本和巨大的内存消耗已成为显著挑战。本文提出了一种针对人类视频生成任务的高效训练框架——熵导向优先级渐进学习（Ent-Prog）。首先，我们引入条件熵膨胀（CEI）来评估不同模型组件对目标条件生成任务的重要性，从而实现对最关键组件的优先训练。其次，我们引入自适应渐进计划，通过测量收敛效率来自适应地增加训练期间的计算复杂度。Ent-Prog 在保持模型性能的前提下，显著降低训练时间和 GPU 内存消耗。广泛的实验结果表明，Ent-Prog 有效实现了训练加速最高可达 2.2 倍、GPU 内存降低最高可达 2.4 倍，同时不损害生成性能。
引用
@article{arxiv.2511.21136,
title = {Efficient Training for Human Video Generation with Entropy-Guided Prioritized Progressive Learning},
author = {Changlin Li and Jiawei Zhang and Shuhao Liu and Sihao Lin and Zeyi Shi and Zhihui Li and Xiaojun Chang},
journal= {arXiv preprint arXiv:2511.21136},
year = {2025}
}
备注
Project page: https://github.com/changlin31/Ent-Prog