面向鲁棒视频分类的时间相干测试时优化
计算机视觉与模式识别
2023-03-01 v1
摘要
在真实世界部署中，当测试数据受损（例如模糊、天气等）时，深度神经网络很可能会失效。测试时优化是一种在测试期间使模型适应受损数据的有效方法，这已在图像领域得到证明。然而，提高视频分类鲁棒性的技术仍然很少。在本工作中，我们提出了一种时间相干测试时优化框架，以在测试时优化中利用时空信息来实现鲁棒的视频分类。为了利用自监督学习提取视频中的信息，TeCo 使用来自视频片段的全局内容并通过熵最小化来优化模型。TeCo 基于来自视频片段的全局内容最小化预测的熵。同时，它还输入局部内容以在特征层面正则化时间相干性。TeCo 保留了各种视频分类模型的泛化能力，并在 Mini Kinetics-C 和 Mini SSV2-C 上实现了鲁棒性的显著提升。此外，TeCo 通过测试时优化为视频分类鲁棒性设定了新的基线。
引用
@article{arxiv.2302.14309,
title = {Temporal Coherent Test-Time Optimization for Robust Video Classification},
author = {Chenyu Yi and Siyuan Yang and Yufei Wang and Haoliang Li and Yap-Peng Tan and Alex C. Kot},
journal= {arXiv preprint arXiv:2302.14309},
year = {2023}
}