评估 BERT 与 ParsBERT 用于波斯语广告数据分析
计算与语言
2023-05-05 v1
摘要
本文讨论了互联网对现代交易的影响，以及这些交易产生的数据对组织改进营销工作的重要性。论文以 Divar（伊朗一个买卖产品与服务的在线市场）为例，提出了一项预测 Divar 网站上发布的汽车销售广告百分比的竞赛。由于该数据集提供了丰富的波斯语文本数据来源，作者使用 Hazm 库（一个用于处理波斯语文本的 Python 库）以及两个最先进的语言模型 mBERT 和 ParsBERT 对其进行分析。论文的主要目标是比较 mBERT 与 ParsBERT 在 Divar 数据集上的表现。作者提供了有关数据挖掘、波斯语及两个语言模型的一些背景，考察了数据集的构成与统计特征，并给出了两种方法的微调与训练配置细节。他们展示了分析结果，并强调了两个语言模型应用于波斯语文本数据时的优缺点。论文为处理波斯语等低资源语言的挑战与机遇，以及像 BERT 这样的先进语言模型分析此类数据的潜力提供了宝贵见解。论文还解释了数据挖掘过程，包括数据清洗与归一化技术等步骤。最后，论文讨论了监督、无监督与强化学习等机器学习问题类型，以及混淆矩阵等模式评估技术。总体而言，论文以 Divar 数据集为例，对低资源语言文本数据分析中语言模型与数据挖掘技术的使用提供了信息丰富的概述。
引用
@article{arxiv.2305.02426,
title = {evaluating bert and parsbert for analyzing persian advertisement data},
author = {Ali Mehrban and Pegah Ahadian},
journal= {arXiv preprint arXiv:2305.02426},
year = {2023}
}