基于 LLaMA 的仅前向传递解码的标点恢复
计算与语言
2024-08-23 v1
摘要
本文介绍了两个在大型语言模型注释领域的进展，专注于标点恢复任务。我们的第一项贡献是应用 LLaMA 进行标点恢复，该模型在已建立基准测试方面表现优异。尽管质量令人印象深刻，LLaMA 面临推理速度和幻觉问题。为此，我们的第二项贡献提出了前向传递仅解码（Forward Pass Only Decoding, FPOD），这是一种用于注释任务的新型解码方法。这种创新方法在推理速度上实现了显著的 19.8 倍提升，有效解决了大规模数据注释任务中的关键瓶颈，并在无幻觉的情况下增强了 LLaMA 的实际实用性。这些贡献的组合不仅巩固了 LLaMA 在标点恢复方面强大的工具，还突显了 FPOD 作为克服速度限制的关键策略。
引用
@article{arxiv.2408.11845,
title = {LLaMA based Punctuation Restoration With Forward Pass Only Decoding},
author = {Yutong Pang and Debjyoti Paul and Kevin Jiang and Xuedong Zhang and Xin Lei},
journal= {arXiv preprint arXiv:2408.11845},
year = {2024}
}