Bielik-Q2-Sharp：针对波兰11B语言模型的极端2位量化方法的比较研究

我们提出Bielik-Q2-Sharp，对应用于波兰大型语言模型的极端2位量化进行首次系统学术评估。以Bielik-11B-v2.3-Instruct（110亿参数，Mistral架构）为基础模型，比较了六种最先进的后训练量化方法——QuIP#、SpinQuant+GPTQ、ButterflyQuant、QTIP、VPTQ和AQLM——均在波兰语语料库（CulturaX-PL）上校准，并共享Hessian矩阵。我们的最佳变体（QuIP# E8P12）在22个波兰基准测试中达到71.92%分数，仅略低于IQ2_XXS基线的72.07%——在统计噪声范围内，规模提升有限（3.26 GB 相对于约2.6 GB）。在eq_bench上，我们的方法得分47.14分，高出43.53分（提升3.6个百分点），表明在保持更高阶推理方面优势更明显。QTIP在单位比特效率上表现最佳（约2.4 bpw时MC准确率达79.4%，3.27 GB），匹配VPTQ的质量且体积缩小35%。我们还记录了一种MC-生成解耦现象，其中基于旋转的方法在保存对数似然质量方面有效，但在自回归生成时会 catastrophic 失败。整个项目由单一位独研究者在vast.ai云GPU上以285美元的预算完成。所有模型、Hessian矩阵和评估日志均公开可用。