评估基于 Transformer 的符号回归模型的 K 折交叉验证
机器学习
2025-07-01 v2 计算与语言
摘要
符号回归仍是一个 NP 难问题，广泛研究聚焦于用于该任务的 AI 模型。虽然 Transformer 模型在符号回归方面显示出前景，但性能在数据量较小的情况下受到影响。我们提出将 K 折交叉验证应用于基于 Transformer 的符号回归模型，该模型是在显著减少数据集（从 50 万个数据点降至 15 万个数据点）后训练的。该技术将训练数据划分为多个子集（折），依次在其中一些上训练、在其他一些上进行验证。我们的目标是提供模型泛化的估计，并缓解较小数据集相关的过拟合问题。结果表明，该过程通过在验证损失上实现约 53.31% 的相对改进，提高了模型的输出一致性和泛化能力。潜在地使符号回归在资源受限的环境中更高效和更可及。
关键词
引用
@article{arxiv.2410.21896,
title = {Evaluating K-Fold Cross Validation for Transformer Based Symbolic Regression Models},
author = {Kaustubh Kislay and Shlok Singh and Soham Joshi and Rohan Dutta and Jay Shim and George Flint and Kevin Zhu},
journal= {arXiv preprint arXiv:2410.21896},
year = {2025}
}