关注重要内容
计算与语言
2024-10-01 v1 人工智能
摘要
尽管大型语言模型（LLM）取得了显著成功，但它们在使输出与用户指令对齐方面仍表现出有限的能力。在本研究中，我们引入了一种简单有效的方法，我们将其命名为GUIDE，该方法从机制上增加了指令token的注意力分数。为了支持这一操作，我们提出了Influence，一种新的指标，突出了用户指令如何通过transformer层传播并影响LLM输出。我们的结果表明，GUIDE将指令遵循的准确率提高了29.4%至60.4%，优于自然提示替代方案和高达1M token的监督微调。
引用
@article{arxiv.2409.19001,
title = {Pay Attention to What Matters},
author = {Pedro Luiz Silva and Antonio de Domenico and Ali Maatouk and Fadhel Ayed},
journal= {arXiv preprint arXiv:2409.19001},
year = {2024}
}