S2Sent：面向嵌套选择的句子表示学习
计算与语言
2025-08-26 v1
摘要
Transformer 编码器与对比学习的结合是当前句子表示学习的主流范式。该范式通常基于编码器最后一个 Transformer 块的隐藏状态。然而，在 Transformer 编码器内部，不同块的语义感知能力存在差异。从可解释性角度看，知识神经元的语义感知潜力由刺激调制，从而rational的跨块表示融合是一个值得优化的方向。为平衡块融合中的语义冗余与损失，我们提出了一种句子表示选择机制S²Sent，该机制在 Transformer 编码器的下游集成一个可参数化的选择器。该选择器从模块化角度执行空间选择（SS）和嵌套频率选择（FS）。SS创新性地采用基于空间压缩的自门控机制获取自适应权重，既实现了低信息冗余的融合，又捕获了嵌入特征之间的依赖。嵌套FS用不同的离散余弦基函数取代GAP，以实现低语义损失的空间压缩。大量实验表明，S²Sent在几乎没有额外参数和推理延迟的情况下，显著优于基线方法，同时突出了高可集成性和可扩展性。
引用
@article{arxiv.2508.18164,
title = {S2Sent: Nested Selectivity Aware Sentence Representation Learning},
author = {Jianxiang Zang and Nijia Mo and Yonda Wei and Meiling Ning and Hui Liu},
journal= {arXiv preprint arXiv:2508.18164},
year = {2025}
}