基于Transformer的接地情境识别
计算机视觉与模式识别
2021-11-22 v1 人工智能
机器学习
摘要
接地情境识别（GSR）是一项不仅对显著动作（动词）进行分类，还预测与语义角色相关的实体（名词）及其在给定图像中位置的任务。受Transformer在视觉任务中巨大成功的启发，我们提出了一种基于Transformer编码器-解码器架构的GSR模型。我们模型的注意力机制通过有效捕获图像的高层语义特征实现准确的动词分类，并允许模型灵活处理实体之间复杂且依赖于图像的关系，从而改进名词分类和定位。我们的模型是首个用于GSR的Transformer架构，并在SWiG基准的每个评估指标上达到了最先进水平。我们的代码可在https://github.com/jhcho99/gsrtr获取。
引用
@article{arxiv.2111.10135,
title = {Grounded Situation Recognition with Transformers},
author = {Junhyeong Cho and Youngseok Yoon and Hyeonjun Lee and Suha Kwak},
journal= {arXiv preprint arXiv:2111.10135},
year = {2021}
}
备注
Accepted to BMVC 2021, Code: https://github.com/jhcho99/gsrtr