Procode：用于职业与经济活动的自动编码与重编码的瑞士多语言解决方案
计算与语言
2020-12-15 v1
摘要
目的。流行病学研究需要与已建立的职业或经济活动分类相一致的数据。这些分类通常包含数百个代码和标题。原始数据的手动编码可能导致错误分类且耗时。目标是开发并测试一个名为Procode的网络工具，用于针对分类对自由文本进行编码以及在不同分类间进行重编码。方法。使用k折交叉验证研究了三种文本分类器，即补朴素贝叶斯(CNB)、支持向量机(SVM)和随机森林分类器(RFC)。可获得30 000条带有手动分配的法国职业分类(PCS)和法国活动分类(NAF)代码的自由文本。对于重编码，Procode集成了一个工作流，根据现有的交叉映射将一种分类的代码转换为另一种分类。由于这是直接操作，仅测量了重编码时间。结果。在三种研究的文本分类器中，CNB表现最佳，该分类器对PCS和NAF分别准确预测了57-81%和63-83%的分类代码。SVM结果略低(低1-2%)，而RFC仅准确编码了最多30%的数据。编码操作每10 000条记录需要一分钟，而重编码更快，即5-10秒。结论。集成于Procode的算法表现出令人满意的性能，因为该工具必须在500-700个不同选项中选择正确的代码。基于结果，作者决定在Procode中实现CNB。未来，如果另一分类器表现出更优性能，更新将包含所需修改。
引用
@article{arxiv.2012.07521,
title = {Procode: the Swiss Multilingual Solution for Automatic Coding and Recoding of Occupations and Economic Activities},
author = {Nenad Savic and Nicolas Bovio and Fabian Gilbert and Irina Guseva Canu},
journal= {arXiv preprint arXiv:2012.07521},
year = {2020}
}