面向 SemEval-2024 任务 1 的自结构自编码器：通过减少数据量提升学习效果
计算与语言
2025-02-25 v1
摘要
本文介绍了两种对自结构自编码器（Self-StrAE）的简单改进。首先，我们展示了将重建目标纳入词汇表作为辅助目标可提升表征质量。其次，我们证明了增加独立通道数可显著改善嵌入质量，同时减少参数数量。令人惊讶的是，我们证明了这一趋势可延伸至极端情况，甚至可将非嵌入参数总数减少到七个。我们的系统可使用仅 1000 万 tokens 的输入数据从头预训练，并在英语、西班牙语和阿非利亚语之间证明有效。
引用
@article{arxiv.2404.01860,
title = {Self-StrAE at SemEval-2024 Task 1: Making Self-Structuring AutoEncoders Learn More With Less},
author = {Mattia Opper and N. Siddharth},
journal= {arXiv preprint arXiv:2404.01860},
year = {2025}
}
备注
SemEval 2024