自由长思考Transformer (FraiLT)
机器学习
2024-02-27 v2 计算与语言
摘要
自由长思考Transformer (FraiLT) 是一种改进的Transformer模型，旨在不扩大规模的情况下增强处理能力。它采用递归方法，多次迭代部分层，并引入迭代编码以保持对这些循环的感知。迭代编码使FraiLT能够以紧凑的形式达到更大模型的解释深度。在合成故事数据集上的评估中，FraiLT优于更大的模型，展示了其在降低内存需求的同时提供高质量性能的能力。该模型代表了向更高效、更易获取的语言模型迈出的一步。
引用
@article{arxiv.2401.11626,
title = {Freely Long-Thinking Transformer (FraiLT)},
author = {Akbay Tabak},
journal= {arXiv preprint arXiv:2401.11626},
year = {2024}
}