基于图嵌入的双流场景理解
计算机视觉与模式识别
2023-11-14 v1 人工智能
摘要
本文提出了一种新颖的双流网络架构，用于增强计算机视觉中的场景理解。该架构利用图特征流与图像特征流，旨在融合两种模态的优势，以提升图像分类与场景图生成任务的性能。图特征流网络由分割结构、场景图生成和图表示模块组成。分割结构采用UPSNet架构，其骨干网络可为残差网络、ViT或Swin Transformer。场景图生成组件侧重于从语义图中提取对象标签与邻域关系以构建场景图。图卷积网络（GCN）、GraphSAGE与图注意力网络（GAT）被用于图表示，重点捕捉节点特征及其相互连接。另一方面，图像特征流网络通过使用Vision Transformer与Swin Transformer模型专注于图像分类。双流通过多种数据融合方法进行融合，该融合旨在利用基于图与基于图像特征的互补优势。在ADE20K数据集上的实验表明，所提双流网络相比传统方法有效提升了图像分类精度。本研究通过有效结合基于图与基于图像的方法，对计算机视觉领域，特别是场景理解与图像分类方向，作出了重要贡献。
引用
@article{arxiv.2311.06746,
title = {Two Stream Scene Understanding on Graph Embedding},
author = {Wenkai Yang and Wenyuan Sun and Runxaing Huang},
journal= {arXiv preprint arXiv:2311.06746},
year = {2023}
}