T3：面向目标任务的基于助手任务迭代训练的零样本迁移学习框架
计算与语言
2025-01-23 v3 人工智能
摘要
长文本摘要正在成为高效处理大量信息的关键技术，但由于缺乏开源训练数据集以及对上下文细节的高要求，大型语言模型（LLM）如 GPT 和 LLaMA 系列在这方面仍面临挑战。为此，我们设计了一种名为 T3 的新型零样本迁移学习框架，通过在目标任务上迭代训练基线 LLM 的助手任务来应对此问题，其中前者应拥有更丰富的数据资源，并与后者在结构或语义上具有相似性。在实践中，T3 通过将问答任务作为助手任务来处理长文本摘要任务，并在 BBC summary、NarraSum、FairytaleQA 和 NLQuAD 数据集上进行验证，相较于三种基线 LLM，ROUGE 提升近 14%，BLEU 提升 35%，FactScore 提升 16%，显示出其在更广泛的助手-目标任务组合中具有潜力。
引用
@article{arxiv.2409.17640,
title = {T3: A Novel Zero-shot Transfer Learning Framework Iteratively Training on an Assistant Task for a Target Task},
author = {Xindi Tong and Yujin Zhu and Shijian Fan and Liang Xu},
journal= {arXiv preprint arXiv:2409.17640},
year = {2025}
}