DAEMA：带掩码注意力的去噪自编码器
机器学习
2021-07-01 v1
摘要
缺失数据是一个反复出现且具有挑战性的问题，尤其在使用机器学习算法处理实际应用时。因此，缺失数据插补已成为一个活跃的研究领域，其中近期的深度学习方法取得了最先进的结果。我们提出 DAEMA（带掩码注意力的去噪自编码器），一种基于带注意力机制的去噪自编码器架构的算法。尽管大多数插补算法将不完整输入当作完整数据使用——至多进行基本预处理（如均值插补）——DAEMA 利用基于掩码的注意力机制聚焦于其输入的观测值。我们在重建能力及下游预测两方面评估 DAEMA，表明在多种缺失机制设置下的若干公开真实世界数据集上，其性能优于最先进算法。
引用
@article{arxiv.2106.16057,
title = {DAEMA: Denoising Autoencoder with Mask Attention},
author = {Simon Tihon and Muhammad Usama Javaid and Damien Fourure and Nicolas Posocco and Thomas Peel},
journal= {arXiv preprint arXiv:2106.16057},
year = {2021}
}
备注
12 pages, 2 figures, to be published in ICANN 2021, for official implementation see https://github.com/euranova/DAEMA