稀疏激活编辑：叙事情境下可靠指令遵循的方法
计算与语言
2025-05-23 v1 人工智能
人机交互
摘要
复杂的叙事情境常常挑战语言模型遵循指令的能力，现有基准未能捕捉这些困难。为此，我们提出了 Concise-SAE，这是一个无需标注数据、仅使用自然语言指令即可识别和编辑指令相关神经元的训练-free 框架，以提高指令遵循。为全面评估该方法，我们引入了 FreeInstruct，这是一个包含1212个示例的数据集，突显了指令在叙事丰富环境中遵循的挑战。虽然最初是为复杂叙事而动机，但 Concise-SAE 在不损害生成质量的前提下，展示了在各种任务中实现最先进的指令遵循水平。
关键词
引用
@article{arxiv.2505.16505,
title = {Sparse Activation Editing for Reliable Instruction Following in Narratives},
author = {Runcong Zhao and Chengyu Cao and Qinglin Zhu and Xiucheng Lv and Shun Shao and Lin Gui and Ruifeng Xu and Yulan He},
journal= {arXiv preprint arXiv:2505.16505},
year = {2025}
}