Knockout：处理缺失输入的简单方法
机器学习
2025-07-22 v3
摘要
深度学习模型受益于丰富的输入特征（例如多模态特征）。然而，多模态模型在推理时可能因某些输入缺失而难以部署。当前流行的解决方案包括边缘化、插值和训练多个模型。边缘化可实现校准的预测，但计算成本高昂，仅适用于低维输入。插值可能导致不准确的预测，尤其是在高维数据（如图像）缺失时。训练多个模型（每个模型针对不同输入子集设计）可行，但需要对缺失输入模式具有先验知识。此外，训练和保留多个模型成本较高。我们提出一种高效方法，用于学习条件分布及其边缘分布。我们的方法 Knockout 在训练期间随机替换输入特征的适当占位符值。我们对 Knockout 提供了理论依据，表明其可被解释为一种隐式的边缘化策略。我们在广泛的模拟和真实数据集上评估了 Knockout，表明其在实际应用中表现出色。
引用
@article{arxiv.2405.20448,
title = {Knockout: A simple way to handle missing inputs},
author = {Minh Nguyen and Batuhan K. Karaman and Heejong Kim and Alan Q. Wang and Fengbei Liu and Mert R. Sabuncu},
journal= {arXiv preprint arXiv:2405.20448},
year = {2025}
}
备注
Accepted at TMLR