StrAE：基于显式结构的预训练嵌入自编码框架
计算与语言
2025-02-25 v2 机器学习
摘要
本文提出 StrAE：一种结构化自编码器（Structured Autoencoder）框架，该框架通过严格遵循显式结构，并利用一种针对树结构表示的新型对比目标，能够有效学习多层次表示。通过对不同形式结构的比较，我们验证了我们的结果可直接归因于作为输入提供的结构的信息性，并表明现有树模型并非如此。我们进一步扩展 StrAE，允许模型使用一种简单的局部合并算法定义自身的组合方式。这一变体称为 Self-StrAE，其性能优于不涉及显式层次组合的基线，并与给定信息性结构（例如成分句法分析）的模型相当。我们的实验在数据受限（约 1000 万词元）的设置下进行，以帮助厘清归纳偏置对有效学习的贡献。然而，我们发现该框架对规模具有鲁棒性，当扩展到更大的数据集（约 1 亿词元）时，我们仅含 430 参数的模型性能与规模大许多个数量级的 6 层 RoBERTa 相当。我们的发现支持了将显式组合作为归纳偏置用于有效表示学习的效用。
引用
@article{arxiv.2305.05588,
title = {StrAE: Autoencoding for Pre-Trained Embeddings using Explicit Structure},
author = {Mattia Opper and Victor Prokhorov and N. Siddharth},
journal= {arXiv preprint arXiv:2305.05588},
year = {2025}
}
备注
EMNLP 2023 Main