大语言模型是否知道工具无关性？解构工具调用中的结构对齐偏差
计算与语言
2026-04-14 v1 人工智能
摘要
大语言模型（LLMs）在利用外部工具方面展现出惊人的能力。然而，在实际应用中，LLMs常常接触到与用户查询无关的工具，此时期望的行为是不调用这些工具。本文识别了工具拒绝中存在的一种广泛但被忽视的机制性缺陷，我们称之为结构对齐偏差（structural alignment bias）：即便工具未能服务于用户目标，LLMs仍倾向于在查询属性可被有效分配给工具参数时调用该工具。为系统研究此偏差，我们引入SABEval（Structural Alignment Bias Evaluation）新数据集，将结构对齐与语义相关性解耦。我们的分析表明，结构对齐偏差在LLMs中引发严重的工具调用错误，却在现有评估中鲜有被关注。为探究此偏差背后的内部机制，我们提出了对抗性注意力归因（Contrastive Attention Attribution）方法，揭示了语义检查与结构匹配两个竞争路径。这两个路径的相对强度决定了LLMs的工具调用决策。基于这些发现，我们进一步提出一种再平衡策略，有效缓解结构对齐偏差，经大量实验表明，在不损害通用工具使用能力的前提下取得显著效果。
引用
@article{arxiv.2604.11322,
title = {Do LLMs Know Tool Irrelevance? Demystifying Structural Alignment Bias in Tool Invocations},
author = {Yilong Liu and Xixun Lin and Pengfei Cao and Ge Zhang and Fang Fang and Yanan Cao},
journal= {arXiv preprint arXiv:2604.11322},
year = {2026}
}
备注
Accepted to ACL 2026 (Main Conference)