前瞻文本理解与大语言模型拼接
计算与语言
2024-12-25 v1
摘要
本文提出了前瞻文本理解问题，以前瞻章节识别（Look Ahead Section Identification, LASI）为例。该问题可能出现在生成式AI以及人类交互场景中，我们希望理解正在发展的文本或对话的方向。我们采用基于变换器的大语言模型（LLM）来解决该问题。我们表明，LASI比经典章节识别（Section Identification, SI）更具挑战性。我们认为，双向上下文信息（如BERT）和单向预测能力（如GPT）都将有助于该任务。我们提出了两种将BERT和GPT拼接在一起的方法。实验表明，我们的方法优于既定模型，尤其是在文本存在噪声的情况下（这在生成式AI的 developing 文本中常见）。我们的论文为诸如前瞻情感分类等其他前瞻文本理解任务提供了启发，并指出了通过拼接利用预训练大语言模型的机会。
关键词
引用
@article{arxiv.2412.17836,
title = {Look Ahead Text Understanding and LLM Stitching},
author = {Junlin Julian Jiang and Xin Li},
journal= {arXiv preprint arXiv:2412.17836},
year = {2024}
}
备注
9 pages, 6 figures, 4 tables, published in Vol. 18 (2024): Proceedings of the Eighteenth International AAAI Conference on Web and Social Media