决策势面：大语言模型决策边界的理论与实用近似
机器学习
2026-05-22 v2 人工智能
摘要
决策边界是指机器学习模型在两个类别分配相等分类概率的输入子空间，是揭示模型核心属性和解释行为的关键。虽然近年来备受关注，但由于序列级输出空间庞大且大语言模型（LLM）具有自回归特性，构建其决策边界在计算上不可行。为此，本文提出一种新的决策边界分析 notions——决策势面（DPS）。DPS 源于对不同类别输入confidence的区分能力，自然捕捉了决策边界的势。我们证明，DPS 中的 zero-height isohypse 等价于 LLM 的决策边界，其中包围区域代表决策区域。通过 DPS，首次在文献中，我们提出一种实用的决策边界近似算法，即 K-DPS，该算法仅需 K 个有限序列样本即可以可忽略的误差近似 LLM 的决策边界。我们理论地推导了 K-DPS 与理想 DPS 之间的绝对误差、预期误差和误差浓度的上界，表明这些误差可在抽样次数之间进行权衡。
引用
@article{arxiv.2510.03271,
title = {Decision Potential Surface: A Theoretical and Practical Approximation of Large Language Model Decision Boundary},
author = {Zi Liang and Zhiyao Wu and Haoyang Shang and Yulin Jin and Qingqing Ye and Huadi Zheng and Peizhao Hu and Haibo Hu},
journal= {arXiv preprint arXiv:2510.03271},
year = {2026}
}
备注
Source code: https://github.com/liangzid/DPS