RPN 2：面向统一与提升 CNN、RNN、GNN、Transformer 的感知函数学习
摘要
本文建立在我们之前关于 Reconciled Polynomial Network（RPN）的工作基础上。原始 RPN 模型是在输入数据独立性假设下设计的，假设数据批中单个实例以及每个数据实例中的属性彼此独立。然而，这一假设对于涉及复杂相互依赖数据（如语言、图像、时间序列和图）的函数学习任务常常不成立。忽略这种数据相互依赖性质可能会导致显著的性能下降。为克服这些限制，我们在本文中引入了新的 Reconciled Polynomial Network（版本 2），即 RPN 2。通过包含数据和结构感知函数，RPN 2 通过其架构中的新组件函数显式地建模数据相互依赖性。这种增强不仅显著提高了 RPN 2 的学习性能，而且大大扩展了其统一潜力，使其能够纳入更广泛的当代主导脊柱模型。这些脊柱包括但不限于卷积神经网络（CNN）、循环神经网络（RNN）、图神经网络（GNN）和 Transformer。我们的分析表明，这些脊柱模型的根本区别主要源于它们对感知函数的不同定义方式。Furthermore, this unified representation opens up new opportunities for designing innovative architectures with the potential to surpass the performance of these dominant backbones. Furthermore, this unified representation opens up new opportunities for designing innovative architectures with the potential to surpass the performance of these dominant backbones.
引用
@article{arxiv.2411.11162,
title = {RPN 2: On Interdependence Function Learning Towards Unifying and Advancing CNN, RNN, GNN, and Transformer},
author = {Jiawei Zhang},
journal= {arXiv preprint arXiv:2411.11162},
year = {2024}
}
备注
105 pages, 37 figures, 6 tables, preprint version