指令学习范式：白盒与黑盒 LLM 的双重视角
计算与语言
2025-06-30 v1 人工智能
机器学习
摘要
优化大型语言模型（LLM）的指令对于充分发挥其在复杂多样任务中的潜力至关重要。然而，仅依赖白盒方法需要大量计算资源且代表能力有限，而黑盒模型则可能产生高额成本。为解决这一困境，我们提出一种新框架，无缝融合两种范式的优势：黑盒模型提供高质量且多样化的指令初始化，白盒模型通过隐藏状态和输出特征提供细粒度可解释性。通过强制语义相似性约束，这些组件融合为统一的高维表示，捕捉深层语义与结构细微差异，实现迭代式优化过程，以细化指令的质量与适应性。广泛的评估覆盖从复杂推理到跨语言泛化等多种任务，表明我们的方案在所有基准上均持续超越最先进的对手。这种将黑盒初始化与高级语义细化相结合的做法，构建了一种可扩展且高效的解决方案，为下一代 LLM 驱动的应用在多样化现实场景中铺平了道路。源代码将很快公开。
引用
@article{arxiv.2506.21573,
title = {Instruction Learning Paradigms: A Dual Perspective on White-box and Black-box LLMs},
author = {Yanwei Ren and Liu Liu and Baosheng Yu and Jiayan Qiu and Quan Chen},
journal= {arXiv preprint arXiv:2506.21573},
year = {2025}
}