Comply：受果蝇嗅觉启发的带复数权重学习句子方法
计算与语言
2025-07-16 v3 人工智能
机器学习
神经与进化计算
摘要
生物仿生神经网络提供了另一种建模数据分布的途径。FlyVec是最近的一个例子，借鉴果蝇嗅觉电路来解决学习词嵌入的任务。令人惊讶的是，该模型即使对比于专为编码文本而设计的深度学习方法，仍能实现相当好的性能，且具有最高的计算效率。我们提出了Comply。通过引入复数权重，我们将位置信息纳入模型，从而使单层神经网络能够学习序列表示。我们的实验显示，Comply不仅超越了FlyVec，而且在准确性和可解释性方面与显著更大的SOTA模型持平。我们实现了这一目标，却不增加额外参数。Comply生成的句子稀疏语境表示可以从神经元权重中显式解释。
引用
@article{arxiv.2502.01706,
title = {Comply: Learning Sentences with Complex Weights inspired by Fruit Fly Olfaction},
author = {Alexei Figueroa and Justus Westerhoff and Golzar Atefi and Dennis Fast and Benjamin Winter and Felix Alexander Gers and Alexander Löser and Wolfgang Nejdl},
journal= {arXiv preprint arXiv:2502.01706},
year = {2025}
}
备注
Accepted at NICE2025