利用大数据分析研究信息技术趋势

我们生活在一个信息时代，从Twitter到Fitocracy，人们生活的每一个片段都被转化为数字。这种丰富的数据在信息技术领域同样可以获得。从Stackoverflow到GitHub，许多关于信息技术趋势的大数据源均可获取。本研究旨在利用上述大数据源研究信息技术趋势，并汇编有关这些技术的有用信息。这些收集到的信息可能有助于决策者或信息技术专业人员决定将时间和资金投资于何处。在本研究中，我们挖掘并分析了StackExchange和GitHub数据，以创建关于信息技术的有意义的预测。最初，StackExchange和GitHub数据被导入本地数据存储库。数据导入后，对数据应用了分词、词干提取和降维等清洗与预处理技术。在预处理和清洗关键词之后，从数据中提取了它们的关系。利用这些关键词数据，选择了四个主要知识领域及其变体，即20种编程语言、8种数据库应用、4种云服务和3种移动操作系统，以分析其趋势。选定关键词后，提取的模式被用于Gephi中的聚类分析。生成的图形用于编程语言数据的探索性分析。探索性分析之后，为选定关键词创建了使用时间序列。这些时间序列被用作使用R forecast库创建的预测的训练和测试数据。进行预测后，使用平均相对误差幅度和中位数相对误差幅度测试了其准确性。