Homepage2Vec：语言无关的网站嵌入与分类
计算与语言
2022-04-11 v3 人工智能
摘要
目前，公开的网站分类模型不提供嵌入方法，且对英语以外语言的支持有限。我们发布了一个从 Curlie（最大的多语言人工编辑 Web 目录）收集的、包含 92 种语言中超过两百万个类别标注网站的数据集。该数据集包含跨语言对齐的 14 个网站类别。与此同时，我们介绍了 Homepage2Vec，一种基于网站主页以语言无关方式对网站进行分类和嵌入的机器学习预训练模型。Homepage2Vec 凭借其特性集合（文本内容、元数据标签和视觉属性）以及自然语言表示的最新进展，在设计上独立于语言并生成基于嵌入的表示。我们表明 Homepage2Vec 以宏平均 F1 分数 0.90 正确分类网站，且在低资源与高资源语言中均表现稳定。特征分析显示，即使计算资源有限，一小部分可高效计算的特征也足以实现高性能。我们公开了跨语言对齐的精选 Curlie 数据集、预训练的 Homepage2Vec 模型及库。
引用
@article{arxiv.2201.03677,
title = {Homepage2Vec: Language-Agnostic Website Embedding and Classification},
author = {Sylvain Lugeon and Tiziano Piccardi and Robert West},
journal= {arXiv preprint arXiv:2201.03677},
year = {2022}
}
备注
Published in Proc. of ICWSM 2022