GATEAU：用于长上下文对齐的影响样本选择
计算与语言
2025-09-16 v7 人工智能
摘要
将大型语言模型对齐以处理极端长上下文的指令尚未得到充分调查。以前的研究尝试通过合成长指令跟随样本来扩大可用数据卷，以构建此类数据集往往对注释者来说具有挑战性。然而，缺乏确保数据质量的明确策略可能引入低质量样本并限制模型性能。因此，我们提出了GATEAU，这是一种新型框架，用于通过识别富含长程依赖关系的影响样本来解决长上下文对齐的独特挑战。具体而言，GATEAU从两个基本方面衡量长程依赖性：由于长程依赖性导致生成目标响应的困难，以及由于此类依赖性导致理解长输入的困难。全面实验表明，GATEAU有效地识别了影响性样本，训练于这些选定样本上的模型在指令遵循和长程上下文理解能力方面表现更佳。
引用
@article{arxiv.2410.15633,
title = {GATEAU: Selecting Influential Samples for Long Context Alignment},
author = {Shuzheng Si and Haozhe Zhao and Gang Chen and Yunshui Li and Kangyang Luo and Chuancheng Lv and Kaikai An and Fanchao Qi and Baobao Chang and Maosong Sun},
journal= {arXiv preprint arXiv:2410.15633},
year = {2025}
}
备注
EMNLP 2025