代码回归语言模型
计算与语言
2026-05-28 v2 人工智能
机器学习
性能
软件工程
摘要
我们研究代码到指标的回归：从代码执行中预测数值结果，这是一项具有挑战性的任务，由于编程语言的开放性。虽然先前的方法曾依赖重型且领域特定的特征工程，但我们展示了一个单一的统一回归语言模型（RLM）使用冻结 LLM 编码器可以同时从文本中预测直接从文本（i）跨多个高级语言如 Python 和 C++ 的代码内存占用，（ii）Triton GPU 内核的延迟，以及（iii）在 ONNX 中表示的训练神经网络的准确性和速度。特别是，一个相对较小的 300M 参数 RLM 基于 T5Gemma，在来自 APPS 的竞赛编程提交中获得 >0.9 的斯佩尔曼秩相关，在 CodeNet 中的 17 个独立语言中实现 >0.5 的平均斯佩尔曼秩。此外，RLM 能获得对五个经典 NAS 设计空间中最高的平均 Kendall-Tau 为 0.46，同时预测大量硬件平台上的体系结构延迟。
引用
@article{arxiv.2509.26476,
title = {Regression Language Models for Code},
author = {Yash Akhauri and Xingyou Song and Arissa Wongpanich and Bryan Lewandowski and Mohamed S. Abdelfattah},
journal= {arXiv preprint arXiv:2509.26476},
year = {2026}
}
备注
Published in International Conference on Machine Learning (ICML) 2026