基于 FNet 的长序列新闻故事生成自动编码器
计算与语言
2022-11-18 v2 人工智能
机器学习
摘要
在本文中,我们基于 Google 的 FNet 架构设计了一个自动编码器,以从 Google C4 数据集中包含的新闻故事子集生成文本。我们讨论了此前利用自动编码器和非 LLM 模型生成文本的尝试与方法。FNet 相比基于 BERT 的编码器在效率上具有多重优势,其在 GPU 上训练快 80%、在 TPU 上快 70%。然后我们比较了该自动编码器在不同 epoch 下的输出表现。最后,我们分析了编码器在不同种子文本下产生的输出。
引用
@article{arxiv.2211.08295,
title = {An FNet based Auto Encoder for Long Sequence News Story Generation},
author = {Paul K. Mandal and Rakeshkumar Mahto},
journal= {arXiv preprint arXiv:2211.08295},
year = {2022}
}
备注
7 pages, 6 figures