用于通用事件边界检测的掩码自编码器：CVPR'2022 Kinetics-GEBD 挑战赛
计算机视觉与模式识别
2022-06-20 v1
摘要
通用事件边界检测（GEBD）任务旨在检测通用的、无分类体系的事件边界，将整个视频分割为块。本文中，我们应用掩码自编码器（Masked Autoencoders）来提升算法在 GEBD 任务上的性能。我们的方法主要采用在 GEBD 任务上微调的掩码自编码器集成，作为带有其他基模型的自我监督学习器。此外，我们还使用半监督伪标签方法以在训练时充分利用丰富的无标签 Kinetics-400 数据。另外，我们提出一种软标签方法以部分平衡正负样本并缓解该任务中标签模糊的问题。最后，实施了一种巧妙的分割对齐策略，将我们模型预测的边界细化到更精确的位置。借助我们的方法，我们在 Kinetics-GEBD 测试集上取得了 85.94% 的 F1 分数，相比 2021 年 Kinetics-GEBD 挑战赛冠军提升了 2.31% 的 F1 分数。我们的代码可在 https://github.com/ContentAndMaterialPortrait/MAE-GEBD 获取。
引用
@article{arxiv.2206.08610,
title = {Masked Autoencoders for Generic Event Boundary Detection CVPR'2022 Kinetics-GEBD Challenge},
author = {Rui He and Yuanxi Sun and Youzeng Li and Zuwei Huang and Feng Hu and Xu Cheng and Jie Tang},
journal= {arXiv preprint arXiv:2206.08610},
year = {2022}
}