基于潜在迭代状态头的大语言模型回归
计算与语言
2026-04-02 v1 机器学习
摘要
我们提出RELISH（REgression with a Latent Iterative State Head），一种 novel、轻量级架构，用于大语言模型文本回归。与解码数值目标为文本或聚合多个生成输出不同，RELISH 通过跨注意力在 token 级别表示上迭代细化学习到的潜在状态，直接从冻结的 LLM 表示中预测标量值，然后通过线性回归器将最终状态映射到点估计。 在五个数据集、四个 LLM 主干模型和两种 LLM 训练 regime 下，RELISH 始终优于来自所有三个主要 LLM 回归家族的先前基线，包括自回归解码、回归感知推理和现有预测头方法。尽管如此，RELISH 仍然高度参数高效，仅需 3.4-3.7M 可训练参数覆盖冻结 LLM 主干（仅 0.01-0.04% 额外开销），远低于随模型规模增长的 LoRA 基于替代方案（0.26-0.42%）。
引用
@article{arxiv.2604.01206,
title = {LLM REgression with a Latent Iterative State Head},
author = {Yiheng Su and Matthew Lease},
journal= {arXiv preprint arXiv:2604.01206},
year = {2026}
}