TabMixer：以小规模特征挖掘标签分布学习
机器学习
2022-10-26 v1
摘要
标签分布学习（LDL）不同于多标签学习，其旨在通过将对单标签值转换为描述度来表示实例的多义性。遗憾的是，标签分布数据集的特征空间受人为因素及特征提取器的归纳偏置影响，导致特征空间中的不确定性。尤其对于具有小规模特征空间（特征空间维度 标签空间）的数据集，现有 LDL 算法表现不佳。为解决此问题，我们试图对特征空间的不确定性增强进行建模，以缓解 LDL 任务中的问题。具体而言，我们首先将样本特征向量中每个特征值增强为一个向量（在高斯分布函数上采样）。其中，高斯分布函数的方差参数通过子网络学习，均值参数由该特征值填充。随后，每个特征向量被增强为一个矩阵，送入具有局部注意力的 mixer（\textit{TabMixer}）以提取潜在特征。最后，潜在特征被压缩以通过压缩网络产生准确的标签分布。大量实验验证了我们所提算法在多个基准上与其他 LDL 算法相比具有竞争力。
引用
@article{arxiv.2210.13852,
title = {TabMixer: Excavating Label Distribution Learning with Small-scale Features},
author = {Weiyi Cong and Zhuoran Zheng and Xiuyi Jia},
journal= {arXiv preprint arXiv:2210.13852},
year = {2022}
}