层次洞察：利用所有 Transformer 层进行作者风格可泛化分析
计算与语言
2025-10-14 v3
摘要
我们提出了一种新的作者归属任务方法，利用预训练基于 Transformer 的模型在不同层上学习的各种语言表示。我们在三个数据集上评估了该方法，比较了在域内和域外场景下的状态学习基线。我们发现，利用各种 Transformer 层在测试于域外数据时能提高作者归属模型的鲁棒性，从而实现新的状态学习结果。我们的分析进一步阐明了不同模型层在表示特定风格特征方面的专化方式，这些特征在测试于域外时有益于模型。
关键词
引用
@article{arxiv.2503.00958,
title = {Layered Insights: Generalizable Analysis of Authorial Style by Leveraging All Transformer Layers},
author = {Milad Alshomary and Nikhil Reddy Varimalla and Vishal Anand and Smaranda Muresan and Kathleen McKeown},
journal= {arXiv preprint arXiv:2503.00958},
year = {2025}
}