GNN-CNN：用于文本表示的卷积神经网络与图神经网络的高效混合模型

Fardin Rastakhiz

GNN-CNN：用于文本表示的卷积神经网络与图神经网络的高效混合模型

计算与语言 2025-07-11 v1 人工智能

作者: Fardin Rastakhiz

摘要

在深度学习（DL）中处理长文本时，时间、成本和能源效率是关键考虑因素。具有当前最佳性能的 Transformer 相对于输入长度呈二次计算复杂度，导致在处理扩展文档时效率不高。本研究引入一种新颖的模型架构，将图神经网络（GNN）和卷积神经网络（CNN）结合，并集成一种实时、端到端的图生成机制。该模型在不 requiring 填充或截断的情况下处理紧凑的字符级输入批次。为在保持高速和效率的同时提升性能，模型通过高效字典查找整合来自大语言模型（LLM）的信息，如标记嵌入和情感极性。它使用 CNN 捕获局部上下文模式，通过基于晶格的图结构扩大局部感受野，并采用小世界图来聚合文档级信息。生成的图结构呈现出表明有意义语义组织的结构特征，平均聚类系数约为 0.45，平均最短路径长度介于 4 和 5 之间。在多个文本分类任务上进行评估，包括情感分析和新闻分类，并与最先进的模型进行比较。实验结果确认了本提议模型的效率和竞争性能。

关键词

图神经网络卷积神经网络文本表示大语言模型字符级输入语义组织文本分类高效架构

引用

@article{arxiv.2507.07414,
  title  = {GNN-CNN: An Efficient Hybrid Model of Convolutional and Graph Neural Networks for Text Representation},
  author = {Fardin Rastakhiz},
  journal= {arXiv preprint arXiv:2507.07414},
  year   = {2025}
}

GNN-CNN：用于文本表示的卷积神经网络与图神经网络的高效混合模型

摘要

关键词

引用

相关论文