通过随机森林预筛选复杂特征以提升小样本数据集上 SISSO 的性能
机器学习
2024-10-01 v1 材料科学
数据分析、统计与概率
摘要
在材料科学中，数据驱动方法加速了材料的发现与优化，同时降低了成本并提高了成功率。符号回归是从大型数据集中提取材料描述符的关键，特别是 Sure Independence Screening and Sparsifying Operator (SISSO) 方法。由于 SISSO 需要存储整个表达式空间，从而产生巨大的内存需求，这限制了其在复杂问题中的性能。为了解决这个问题，我们提出了一种结合随机森林（RF）与 SISSO 的 RF-SISSO 算法。在该算法中，使用随机森林算法进行预筛选，捕捉非线性关系并改善特征选择，这可以提高输入数据的质量，并提升回归和分类任务的准确性与效率。在针对 299 种材料的 SISSO 验证问题的测试中，RF-SISSO 展现了稳健的性能和高准确度。RF-SISSO 在所有四种训练样本规模下均能将测试准确率保持在 0.9 以上，并显著提高了回归效率，尤其是在样本量较小的训练子集中。对于包含 45 个样本的训练子集，RF-SISSO 的效率是原始 SISSO 的 265 倍。由于在实际实验中收集大型数据集既昂贵又耗时，因此相信 RF-SISSO 能通过在有限数据下高效提供高预测准确率而使科学研究受益。
引用
@article{arxiv.2409.19209,
title = {Boosting SISSO Performance on Small Sample Datasets by Using Random Forests Prescreening for Complex Feature Selection},
author = {Xiaolin Jiang and Guanqi Liu and Jiaying Xie and Zhenpeng Hu},
journal= {arXiv preprint arXiv:2409.19209},
year = {2024}
}