面向推理密集型回归任务的研究
计算与语言
2026-05-04 v3 人工智能
摘要
AI 研究人员和实践者日益将大型语言模型 (LLM) 应用于我们称之为推理密集型回归 (RiR) 的任务，即从文本中推导细微的数值分数。与标准语言回归任务（如情感或相似度分析）不同，RiR 常出现在诸如基于评估表的评分、建模复杂环境中的稠密奖励或特定领域检索等临时应用中，需要对上下文进行深入分析，而仅有有限的任务特定训练数据和计算资源。我们将四个真实问题建模为 RiR 任务，以建立初始基准，并用于测试我们假设：使用冻结的 LLM 进行提示以及通过梯度下降微调 Transformer 编码器在 RiR 中将面临诸多挑战。随后，我们提出了 MENTAT 方法，这是一种简单轻量的方法，结合批量反思式提示优化与神经集合学习。MENTAT 在基线上实现了最高可达 65% 的提升，尽管仍有相当大的提升空间。
关键词
引用
@article{arxiv.2508.21762,
title = {Reasoning-Intensive Regression},
author = {Diane Tchuindjo and Omar Khattab},
journal= {arXiv preprint arXiv:2508.21762},
year = {2026}
}