EurNet：空间多关系数据的高效多范围关系建模
机器学习
2022-11-24 v1 计算机视觉与模式识别
摘要
对数据中空间关系进行建模在许多不同任务中仍然至关重要，例如图像分类、语义分割和蛋白质结构理解。先前的工作通常使用统一的解决方案，如相对位置编码。然而，存在不同类型的空间关系，包括短程、中程和长程关系，分别建模它们可以更好地捕捉不同任务对多范围关系的关注（例如，短程关系在实例分割中可能重要，而长程关系在语义分割中应被加重）。在这项工作中，我们引入了 EurNet 用于高效的多范围关系建模。EurNet 构建多关系图，其中每种类型的边对应于短程、中程或长程空间交互。在构建的图中，EurNet 采用一种称为门控关系消息传递 (GRMP) 的新建模层，以跨数据传播多关系信息。GRMP 以极小的额外计算成本捕获数据中的多种关系。我们在图像和蛋白质结构建模的两个重要领域中研究 EurNet。在 ImageNet 分类、COCO 目标检测和 ADE20K 语义分割上的大量实验验证了 EurNet 相对于先前 SOTA FocalNet 的提升。在 EC 和 GO 蛋白质功能预测基准上，EurNet 持续超越先前的 SOTA GearNet。我们的结果展示了 EurNet 在建模来自不同领域的空间多关系数据方面的优势。用于图像建模的 EurNet 实现可在 https://github.com/hirl-team/EurNet-Image 获取。其他应用领域/任务的实现将很快发布。
引用
@article{arxiv.2211.12941,
title = {EurNet: Efficient Multi-Range Relational Modeling of Spatial Multi-Relational Data},
author = {Minghao Xu and Yuanfan Guo and Yi Xu and Jian Tang and Xinlei Chen and Yuandong Tian},
journal= {arXiv preprint arXiv:2211.12941},
year = {2022}
}
备注
Research project paper. arXiv v1: codes and model weights of EurNet for image modeling released