传输中丢失：网络损坏对视频机器学习模型的影响
计算机视觉与模式识别
2022-06-13 v1
摘要
我们研究网络损坏——由网络错误引起的数据损坏——如何影响视频机器学习（ML）模型。我们在基准视频 ML 数据集 Kinetics-400 中发现了明显的网络损坏。在仿真研究中，我们调查（1）网络损坏导致何种伪影，（2）此类伪影如何影响 ML 模型，以及（3）标准鲁棒性方法能否缓解其负面效应。我们发现网络损坏导致视觉和时间伪影（即颜色拖尾或丢帧）。这些网络损坏使多种视频 ML 任务性能下降，但影响因任务和数据集而异，取决于任务所需的时序上下文量。最后，我们评估了数据增强——一种针对数据损坏的标准防御手段——但发现其不能恢复性能。
引用
@article{arxiv.2206.05252,
title = {Lost in Transmission: On the Impact of Networking Corruptions on Video Machine Learning Models},
author = {Trenton Chang and Daniel Y. Fu},
journal= {arXiv preprint arXiv:2206.05252},
year = {2022}
}
备注
12 pages, 12 figures (with supplemental: 34 pages)