基于大语言模型的分位数回归价格预测
计算与语言
2025-06-10 v1 人工智能
摘要
大语言模型（LLMs）在结构化预测任务中显示出良好的潜力，包括回归任务，但现有方法主要关注点估计，且缺乏对不同方法的系统性比较。我们研究使用大语言模型进行概率回归，以处理非结构化输入，解决需要深入文本理解和不确定性量化的文本到分布预测任务，如价格估计。我们提出了一种新颖的分位数回归方法，使大语言模型能够生成完整的预测分布，显著优于传统的点估计方法。通过在三个多样化的价格预测数据集上进行大量实验，我们证明了使用分位数头微调的 Mistral-7B 模型在预测精度和分布校准三个既定指标下，均显著优于传统方法。我们的系统性比较涵盖了大语言模型方法、模型架构、训练方法和数据规模，结果显示 Mistral-7B 在编码器架构、嵌入式方法和few-shot学习方法中始终表现优异。我们的实验还揭示了大语言模型辅助标签纠正在实现无系统偏差的人类水平精度方面的有效性。我们将 curated 数据集置于 https://github.com/vnik18/llm-price-quantile-reg/ 上，以支持未来研究。
引用
@article{arxiv.2506.06657,
title = {Quantile Regression with Large Language Models for Price Prediction},
author = {Nikhita Vedula and Dushyanta Dhyani and Laleh Jalali and Boris Oreshkin and Mohsen Bayati and Shervin Malmasi},
journal= {arXiv preprint arXiv:2506.06657},
year = {2025}
}
备注
Accepted to Findings of ACL, 2025