用于百度视频广告视频搜索的基于树的文本-视觉BERT

通信技术的进步与智能手机的普及促进了视频广告的蓬勃发展。百度作为全球领先的搜索引擎公司之一，每天接收数十亿次搜索查询。如何将视频广告与用户搜索相匹配是百度视频广告的核心任务。由于模态鸿沟，查询到视频的检索比传统的查询到文档检索和图像到图像搜索更具挑战性。传统上，查询到视频的检索通过查询到标题的检索来解决，当标题质量不高时并不可靠。随着近年来计算机视觉与自然语言处理的快速进展，基于内容的搜索方法在查询到视频检索中变得有前景。受益于大规模数据集上的预训练，一些基于跨模态注意力的visionBERT方法在许多视觉-语言任务中取得了优异性能，不仅在学术界也在工业界。然而，跨模态注意力的高昂计算成本使其在工业应用的大规模搜索中不切实际。在本工作中，我们提出了一个基于树的组合注意力网络（TCAN），该网络最近已在百度的动态视频广告平台上线。它为在大规模查询到视频搜索中部署沉重的跨模态注意力提供了实用方案。上线基于树的组合注意力网络后，点击率提升了2.29%，转化率提升了2.63%。