池化注意力：评估预训练变换器嵌入用于虚假信息分类
计算与语言
2025-12-01 v1 人工智能
机器学习
摘要
本文探讨将虚假新闻检测作为变换器表示的下游评估任务，基准测试基于冻结嵌入的编码器-only 和解码器-only 预训练模型（BERT、GPT-2、Transformer-XL）配合轻量级分类器。通过控制预处理比较池化与填充以及神经网络与线性头部，结果表明情境自注意编码始终能够有效迁移。BERT 嵌入与逻辑回归在 LIAR 数据集划分上超越神经基线，同时序列长度和聚合分析揭示其对截断的鲁棒性以及简单最大或平均池化的优势。本工作将基于注意力的标记编码器定位为可靠、以架构为中心的真实性任务基石，隔离变换器贡献，使其独立于分类器复杂度。
引用
@article{arxiv.2511.22977,
title = {Pooling Attention: Evaluating Pretrained Transformer Embeddings for Deception Classification},
author = {Sumit Mamtani and Abhijeet Bhure},
journal= {arXiv preprint arXiv:2511.22977},
year = {2025}
}
备注
Accepted at the IEEE 7th Computing, Communications and IoT Applications Conference (ComComAp 2025), Madrid, Spain, December 2025. 6 pages