SurvBETA：使用贝兰估计器和多种注意力机制的集成生存模型
机器学习
2024-12-11 v1
摘要
在生存分析框架中，已经提出了许多基于集成的模型来解决机器学习问题，包括随机生存森林、带有弱生存模型的梯度提升机以及 Cox 模型的集成。为了扩展模型集合，我们提出了一种名为 SurvBETA（使用三种注意力机制的生存贝兰估计器集成）的新型集成模型，其中贝兰估计器被用作集成中的弱学习器。贝兰估计器可以被视为一种考虑了实例间关系的核回归模型。弱学习器以条件生存函数形式输出的结果，通过注意力权重进行聚合，该权重考虑了被分析实例与所有自助样本原型之间的距离。注意力机制被使用了三次：用于实现贝兰估计器，用于确定自助样本的特定原型，以及用于聚合弱模型预测。所提出的模型以两种形式呈现：一种通用形式，需要解决复杂的优化问题来进行训练；一种简化形式，通过使用不精确的 Huber 污染模型来特殊表示注意力权重，从而只需解决一个简单的优化问题。数值实验在合成数据上说明了该模型的特性，并在真实数据上将该模型与其他生存模型进行了比较。实现所提出模型的代码已公开可用。
引用
@article{arxiv.2412.07638,
title = {SurvBETA: Ensemble-Based Survival Models Using Beran Estimators and Several Attention Mechanisms},
author = {Lev V. Utkin and Semen P. Khomets and Vlada A. Efremenko and Andrei V. Konstantinov},
journal= {arXiv preprint arXiv:2412.07638},
year = {2024}
}