HyperCLOVA X THINK 技术报告

我们介绍HyperCLOVA X THINK，这是HyperCLOVA X系列中首个以推理为导向的大型语言模型，采用约$6$万亿高质量韩语和英文token进行预训练，辅以针对性的合成韩语数据。其实现为基于Peri-LN Transformer的计算-内存平衡模型，规模达$\mu$P规模，通过三阶段课程进行预训练，将上下文窗口扩展至$128$K token，随后通过监督微调和可验证奖励强化学习进行后训练，支持详细论证和简洁答案两种模式。它在韩语专项基准测试（包括KMMLU、CSAT、KoBALT-700、HAERAE-1.0和KoBigBench）方面表现出与 similarly 规模模型相当的性能，同时保持鲁活加粤语一致性和翻译质量。此外，视觉增强变体在KCSAT STEM基准测试中匹配或超越GPT-4.1，所有这些都以显著低于现有同规模模型的训练计算量实现。我们还提出了一种将用于HyperCLOVA X THINK的剪枝和蒸馏技术，旨在为开源和面向商业的基础模型提供支持。总体而言，这些能力将使HyperCLOVA X THINK成为韩语AI创新和全球研究社区宝贵资源。