面向机器学习应用的视频数据流水线

数据流水线是端到端解决方案将机器学习算法投入生产的关键组成部分。为视频序列构建数据流水线面临若干挑战，包括从视频序列中分离出高质量且能代表场景显著变化的关键帧。人工分离此类高质量关键帧可能需要在数小时的视频数据中筛选数小时。在本工作中，我们提出一个数据流水线框架，可通过基于图像质量和内容类型控制可移除帧的比例，自动化这一视频序列中的人工帧筛选过程。此外，保留的帧可按序列自动打标签，从而简化未来机器学习模型部署中自动数据检索的过程。我们分析了所提出的视频数据流水线在基于室外自动驾驶视频序列训练的目标检测算法的版本化部署与监控中的性能。所提出的视频数据流水线可保留全部输入帧中代表高图像质量和高内容变化的 0.1%–20%。本工作中分析的 22 个视频序列，该帧选择、自动场景标注及随后的模型验证可在 30 秒内完成。因此，所提出的框架可扩展至额外的视频序列数据集，以实现机器学习版本化部署的自动化。