LARF：基于混合污染模型的两级注意力随机森林
机器学习
2022-10-12 v1 人工智能
机器学习
摘要
提出了称为LARF（叶注意力随机森林）的基于注意力的随机森林新模型。该模型背后的第一个思想是引入两级注意力，其中一级是“叶”注意力，注意力机制被应用于树的每一片叶子。第二级是依赖于“叶”注意力的树注意力。第二个思想是用具有不同参数的softmax操作的加权和来替换注意力中的softmax操作。它是通过应用Huber污染模型的混合来实现的，并且可以被视为多头注意力的类似物，其“头”通过选择softmax参数的值来定义。注意力参数仅通过求解二次优化问题进行训练。为了简化模型的调优过程，建议将调优污染参数作为训练参数，并通过求解二次优化问题来计算它们。使用真实数据集进行了许多数值实验以研究LARF。所提出算法的代码可在 https://github.com/andruekonst/leaf-attention-forest 找到。
引用
@article{arxiv.2210.05168,
title = {LARF: Two-level Attention-based Random Forests with a Mixture of Contamination Models},
author = {Andrei V. Konstantinov and Lev V. Utkin},
journal= {arXiv preprint arXiv:2210.05168},
year = {2022}
}