Team RUC_AIM3 在 ActivityNet 2021 的技术报告：实体对象定位
计算机视觉与模式识别
2021-06-14 v1
摘要
实体对象定位（EOL）旨在评估一段描述在多大程度上有据可依或忠实，其包含描述生成与对象接地两部分。先前工作通过在单一框架中联合训练这两个模块来解决该问题，这限制了各模块的复杂度。因此，本工作中我们提出将这两个模块划分为两个阶段并分别改进，以提升整体系统性能。对于描述生成，我们提出统一多模态预训练模型（UMPM）以生成富含对象的事件描述，从而实现更好的定位。对于对象接地，我们微调最先进的检测模型 MDETR，并设计一种后处理方法使接地结果更为忠实。我们的整体系统在 ActivityNet 2021 实体对象定位挑战赛的两个子任务上均取得最先进性能，在子任务 I 测试集上定位准确率为 72.57，在子任务 II 隐藏测试集上 F1_all_per_sent 为 0.2477。
引用
@article{arxiv.2106.06138,
title = {Team RUC_AIM3 Technical Report at ActivityNet 2021: Entities Object Localization},
author = {Ludan Ruan and Jieting Chen and Yuqing Song and Shizhe Chen and Qin Jin},
journal= {arXiv preprint arXiv:2106.06138},
year = {2021}
}
备注
6 pages, 4 figures