基于图神经网络的下一词预测
计算与语言
2025-05-16 v1 机器学习
摘要
语言建模是自然语言处理中常见的任务。当前最新且最成功的语言模型往往倾向于构建庞大的模型（参数数十亿），输入大量文本数据，并使用需要数百万美元的计算资源进行训练。在本项目中，我们旨在解决语言建模中的一个重要子任务，即上下文嵌入。我们提出了一种方法，利用图神经网络（GNN）中的图卷积运算来编码上下文，并与 LSTM 联合用于在给定的前导词语局部上下文中预测下一个词。我们在自定义的维基百科文本语料库上进行测试，使用极有限的资源，结果表明该方法在预测下一个词方面效果相当不错。
引用
@article{arxiv.2505.09649,
title = {Next Word Suggestion using Graph Neural Network},
author = {Abisha Thapa Magar and Anup Shakya},
journal= {arXiv preprint arXiv:2505.09649},
year = {2025}
}