自回归模型中顺序数值预测的进阶方法
计算与语言
2025-05-29 v2 人工智能
机器学习
摘要
自回归模型已成为序列生成任务的事实标准，但常规方法将数字视为独立标记并应用交叉熵损失，忽略了数值序列的一致结构。本文提出数值令牌完整性损失（Numerical Token Integrity Loss, NTIL）以弥补这一差距。NTIL 在两个层面上运作：（1）标记层面，将地毯距离（Earth Mover's Distance, EMD）扩展以保留数值之间的序关系；（2）序列层面，对预测序列与实际序列之间的整体偏差进行惩罚。这种双重方法改进了数值预测，并能与 LLM/MLLM 有效集成。广泛实验表明，NTIL 显著提升了性能。
引用
@article{arxiv.2505.13077,
title = {Advancing Sequential Numerical Prediction in Autoregressive Models},
author = {Xiang Fei and Jinghui Lu and Qi Sun and Hao Feng and Yanjie Wang and Wei Shi and An-Lan Wang and Jingqun Tang and Can Huang},
journal= {arXiv preprint arXiv:2505.13077},
year = {2025}
}
备注
Accepted to ACL 2025 Main Conference