基于 Transformer 架构和集成技术的人类与 AI 生成文本语义相似性分析综合框架
计算与语言
2025-02-03 v2 人工智能
摘要
大型语言模型（LLM）的快速发展使得检测 AI 生成文本的挑战日益增加。传统方法往往无法捕捉人类文本与机器生成内容之间细微的语义差异。因此，我们提出了一种新方法，基于语义相似性分析，采用多层架构，结合预训练的 DeBERTa-v3-large 模型、双向 LSTM 和线性注意力池化，以捕捉局部和全局语义模式。为提升性能，我们采用了高级输入和输出增强技术，如行业级上下文集成和宽输出配置。这些技术使模型能够学习更具辨别力的特征，并在 diverse 领域中实现泛化。实验结果表明，该方法优于传统方法，证明其在 AI 生成文本检测及其他文本比较任务中的有用性。
引用
@article{arxiv.2501.14288,
title = {A Comprehensive Framework for Semantic Similarity Analysis of Human and AI-Generated Text Using Transformer Architectures and Ensemble Techniques},
author = {Lifu Gao and Ziwei Liu and Qi Zhang},
journal= {arXiv preprint arXiv:2501.14288},
year = {2025}
}