面向未知预训练预算的PTPP感知适应比例规律：预测域适应性能
机器学习
2025-10-28 v1 人工智能
计算与语言
摘要
域适应的持续预训练（CPT）必须在目标域收益与基础域稳定性之间进行权衡。现有的CPT比例规律通常假设固定的预训练预算，限制了其预测不同标记/参数比率（PTPP）下训练模型适应结果的能力。我们提出**PTPP感知**适应比例规律，将预训练预算作为显式变量，使能够**准确预测**在未知 \ptpp 下的适应损失。在多语言设置（英/阿拉伯→法语）下，PTPP感知公式在早期阶段（\ptpp=\{15,31\}）预测 \ptpp=279 的目标损失，并在指标（Huber-对数、相对MAE、校准斜率）上优于PTPP不敏感的 \dcpt{} 迁移基线；完整诊断（RMSE、MAPE）见附录。除预测外，我们展示了实际用例：规划满足目标和遗忘约束下的回放比率和适应标记预算。
引用
@article{arxiv.2510.23198,
title = {PTPP-Aware Adaptation Scaling Laws: Predicting Domain-Adaptation Performance at Unseen Pre-Training Budgets},
author = {Etienne Goffinet and Shane Bergsma and Avraham Sheinin and Natalia Vassilieva and Shaheer Muhammad and Preslav Nakov and Gurpreet Gosal},
journal= {arXiv preprint arXiv:2510.23198},
year = {2025}
}