IDEAL：用于查询导向摘要的大语言模型的无限与动态特性
人工智能
2025-01-08 v2 计算与语言
摘要
查询导向摘要 (QFS) 旨在生成回答特定兴趣问题的摘要，实现更大的用户控制和个性化。随着大语言模型 (LLM) 的出现，显示出通过大规模预训练实现的文本理解能力，这暗示了从提取片段中实现摘要的巨大潜力。本文系统地调查了 LLM 基于 QFS 模型应该发挥的两个不可或缺的特性：Lengthy Document Summarization 和 Efficiently Fine-grained Query-LLM Alignment。分别对应我们提出的 Query-aware HyperExpert 和 Query-focused Infini-attention 两个模块，以访问上述特性。这些创新为 QFS 技术的更广泛应用和可访问性 paving the way。在现有 QFS benchmark 上进行的广泛实验表明，所提出的方法在有效性和通用性方面都表现出色。我们的代码已公开于 https://github.com/DCDmllm/IDEAL_Summary。
引用
@article{arxiv.2407.10486,
title = {IDEAL: Leveraging Infinite and Dynamic Characterizations of Large Language Models for Query-focused Summarization},
author = {Jie Cao and Dian Jiao and Qiang Yan and Wenqiao Zhang and Siliang Tang and Yueting Zhuang},
journal= {arXiv preprint arXiv:2407.10486},
year = {2025}
}