基于张量列的语言模型
计算与语言
2024-05-09 v1 信息检索
摘要
我们提出了一种基于最简单张量网络（即张量列）的新型张量网络语言模型，称为“张量列语言模型”（Tensor Train Language Model, TTLM）。TTLM以指数级空间表示句子，即由单词的张量积构建，但以低维方式计算句子概率。我们展示了二阶RNN、循环算术电路（Recurrent Arithmetic Circuits, RACs）和多元化集成RNN的架构，本质上都是TTLM的特例。在真实语言建模任务上的实验评估表明，本文提出的TTLM变体（即TTLM-Large和TTLM-Tiny）在隐藏单元数量较少的情况下，优于基本循环神经网络（RNN）。（代码已公开于 https://github.com/shuishen112/tensortrainlm。）
引用
@article{arxiv.2405.04590,
title = {Language Modeling Using Tensor Trains},
author = {Zhan Su and Yuqin Zhou and Fengran Mo and Jakob Grue Simonsen},
journal= {arXiv preprint arXiv:2405.04590},
year = {2024}
}