SC-Transformer++：用于通用事件边界检测的结构化上下文 Transformer
计算机视觉与模式识别
2022-06-28 v1
摘要
本报告介绍了在 CVPR 2022 通用事件边界检测（GEBD）挑战赛提交中所使用的算法。在这项工作中，我们改进了现有的用于 GEBD 的结构化上下文 Transformer（SC-Transformer）方法。具体而言，在 Transformer 编码器之后添加了一个 Transformer 解码器模块以提取高质量帧特征。最终分类在原二分类器结果与新引入的多分类器分支结果上联合进行。为丰富运动信息，引入了光流作为一种新模态。最后，使用模型集成来进一步提升性能。所提方法在 Kinetics-GEBD 测试集上取得了 86.49% 的 F1 分数，相比之前的 SOTA 方法提升了 2.86% 的 F1 分数。
引用
@article{arxiv.2206.12634,
title = {SC-Transformer++: Structured Context Transformer for Generic Event Boundary Detection},
author = {Dexiang Hong and Xiaoqi Ma and Xinyao Wang and Congcong Li and Yufei Wang and Longyin Wen},
journal= {arXiv preprint arXiv:2206.12634},
year = {2022}
}
备注
winner method at LOVEU@CVPR'22 Generic Event Boundary Detection Challenge