SOSAE：自组织稀疏自编码器
机器学习
2025-07-08 v1
摘要
调整自编码器隐藏层大小的过程具有为输入数据提供最佳压缩表示的优势。然而，这一超参数调优过程通常采用网格搜索作为默认选项，需耗费大量计算和时间资源。本文引入了面向自编码器的自组织正则化（Self-Organizing Regularization），以动态方式适配特征空间的最优维度。灵感来自物理概念，SOSAE（Self-Organizing Sparse AutoEncoder）以结构化方式在特征空间中诱导稀疏性，从而允许在不损失信息的前提下截断特征向量的非活部分。这通过对特征向量维度的幅度和位置索引进行惩罚来实现，在训练期间限制特征空间的两个维度。广泛的实验表明，我们的 SOSAE 在 various 数据集上能够将特征空间维度降低最高可达 130 倍的浮点运算（FLOPs），而保持与其他基线方法相同的调优质量和性能。
引用
@article{arxiv.2507.04644,
title = {SOSAE: Self-Organizing Sparse AutoEncoder},
author = {Sarthak Ketanbhai Modi and Zi Pong Lim and Yushi Cao and Yupeng Cheng and Yon Shin Teo and Shang-Wei Lin},
journal= {arXiv preprint arXiv:2507.04644},
year = {2025}
}
备注
Accepted at IJCAI-DSO Workshop 2024