一个合成伪自编码器邀请审视神经网络设计中的隐性假设
神经与进化计算
2025-06-17 v1 人工智能
摘要
我们提出一个手工设计的神经网络，无需训练即可解决看似困难的问题：将任意整数集合编码为单个数值变量，随后恢复原始元素。尽管仅使用标准神经网络操作——带偏置的加权和与恒等激活——我们的设计选择挑战了该领域关于表示、域连续性、计算、可学习性等方面的常见观念。例如，该构造是设计的而非学习的；它通过简单拼接数字而非压缩来表示多个值，并依赖硬件层面的最右位截断作为位操作机制。该神经网络并非用于实际应用。相反，我们将其与标准训练自编码器的相似性与差异视为一种邀请，用以审视那些可能不必要地约束基于自编码和机器学习系统与模型发展的假设。受限于我们对以自然自编码物种特征为中心的生物进化理论的研究，我们最后从生物学视角对讨论进行了深化。
引用
@article{arxiv.2506.12076,
title = {A Synthetic Pseudo-Autoencoder Invites Examination of Tacit Assumptions in Neural Network Design},
author = {Assaf Marron},
journal= {arXiv preprint arXiv:2506.12076},
year = {2025}
}