智能ETL与LLM驱动的内容分类：欧洲智能旅游工具观察站的实践经验
信息检索
2024-10-25 v1 人工智能
摘要
目的：我们的研究项目旨在通过纳入和分类欧洲智能旅游工具（STTs）观察站的内容来提高在线观察站的内容更新。该分类基于其分类学，有助于用户的搜索过程。其中，智能ETL（Extract, Transform, and Load）过程，即其中\emph{智能}表示使用人工智能（AI），是此一探索的核心。方法：描述STTs的内容来源于PDF目录，其中PDF抓取技术提取二维码、图像、链接和文本信息。删除目录之间的重复STTs，然后根据其文本信息使用大型语言模型（LLM）进行分类。最后，数据被转换为符合Dublin Core元数据结构（观察站的元数据结构）的格式，Dublin Core元数据结构因其广泛接受和灵活性而被选择。结果：将STTs导入观察站的智能ETL过程将PDF抓取技术与LLM结合用于基于文本内容的分类。我们的初步结果已证明LLM用于基于文本内容的分类具有潜力。结论：该方法的可行性是高效内容分类的一步，不仅适用于智能旅游，也可适用于其他领域。未来工作将主要集中于细化此分类过程。
引用
@article{arxiv.2410.18641,
title = {Smart ETL and LLM-based contents classification: the European Smart Tourism Tools Observatory experience},
author = {Diogo Cosme and António Galvão and Fernando Brito e Abreu},
journal= {arXiv preprint arXiv:2410.18641},
year = {2024}
}