基于正交梯度的流式视频学习
计算机视觉与模式识别
2025-04-03 v1
摘要
我们解决了从连续视频流中进行自监督表示学习的挑战。这不同于标准方法，其中会将视频切块并随机排列，以创建满足常规训练范例预期的独立且同分布 (IID) 样本的非冗余 batch。当视频仅以连续输入流形式可用时，IID 假设显然被破坏，导致性能下降。我们在三个任务上展示了从乱序到顺序学习时的性能下降：一个视频表示学习方法 DoRA、在多视频数据集上对标准 VideoMAE 的应用，以及未来视频预测任务。为解决此下降，我们提出了对标准优化器的几何修改，通过利用推理期间的正交梯度来对 batch 进行去相关。该提议的修改可应用于任何优化器——我们以随机梯度下降 (SGD) 和 AdamW 为例进行演示。我们提议的正交优化器使模型在流式视频上训练时能够缓解表示学习性能的下降，根据下游任务进行评估。在三个情景（DoRA、VideoMAE、未来预测）中，我们展示了我们的正交优化器在所有三个情景中均优于强大的 AdamW。
引用
@article{arxiv.2504.01961,
title = {Learning from Streaming Video with Orthogonal Gradients},
author = {Tengda Han and Dilara Gokay and Joseph Heyward and Chuhan Zhang and Daniel Zoran and Viorica Pătrăucean and João Carreira and Dima Damen and Andrew Zisserman},
journal= {arXiv preprint arXiv:2504.01961},
year = {2025}
}
备注
CVPR2025