用于通用事件边界描述的双流Transformer
计算机视觉与模式识别
2023-03-28 v3 计算与语言
摘要
本文描述了我们在CVPR2022通用事件边界描述（GEBC）竞赛中的冠军解决方案。GEBC要求描述模型能够理解给定视频边界周围的瞬时状态变化，这使得它比传统的视频描述任务更具挑战性。本文提出了一种双流Transformer，在视频内容编码和描述生成方面均进行了改进：（1）我们利用三个预训练模型从不同粒度提取视频特征。此外，我们利用边界类型作为提示，帮助模型生成描述。（2）我们特别设计了一个称为双流Transformer的模型，以学习用于边界描述的判别性表示。（3）为了生成内容相关且类似人类的描述，我们通过设计一种词级集成策略来提高描述质量。在GEBC测试集上的优异结果证明了我们提出的模型的有效性。
引用
@article{arxiv.2207.03038,
title = {Dual-Stream Transformer for Generic Event Boundary Captioning},
author = {Xin Gu and Hanhua Ye and Guang Chen and Yufei Wang and Libo Zhang and Longyin Wen},
journal= {arXiv preprint arXiv:2207.03038},
year = {2023}
}
备注
Accepted to CVPR 2022 Workshop