简介:传统基于在线学习的网络浏览行为数据分析平台,缺乏大数据分析能力,无法挖掘和管理用户网络浏览行为,分析效率较低,具有一定的局限性。构建基于分布式集群的网络浏览行为大数据分析平台,平台总体结构由视图层、控制层、服务层、数据持久化层和数据层构成,使用分布式存储系统HDFS与分布式计算系统Spark组成的分布式集群存储和管理网络浏览行为产生的数据,通过数据上传流程将海量网络浏览数据源存储到分布式存储系统HDFS中,在Spark分布集群内运算数据挖掘任务,利用决策树ID3算法准确挖掘网络浏览行为。实验结果说明,所设计平台各项功能符合预期结果,平台进行数据源管理、用户行为分析的整体响应时间比基于在线学习的网络浏览行为数据分析平台低508.25ms、836.5ms,说明所设计平台具有较高的网络浏览行为大数据分析效率。
简介:摘要高等院校作为市场化浪潮中智力及高端产品的输出方,但由于一些客观原因,比如产品转化效率低,产品研发周期长等,导致高校智力资源没有得到很好的利用,除了很小一部分比较成熟、经过较长时间检验的有显示度的先进技术外,大部分的先进技术依然只活跃于实验室中,离大规模推广应用,进入市场,产生一定的经济效益还有很大的距离。为有效解决高等院校的智力资源与社会产业资源对接通道问题,降低相关各方的人力、财力和时间成本,课题组经过深入研究,提出依托“互联网+”思维,以“有效应用高等院校成熟技术,快速方便解决中小型企业实际问题”为宗旨,构建了高等院校微技术交易转化平台的建设方案。
简介:摘要本文提出了一种新的性能评估模型——multi-roofline模型。作为roofline模型的延伸,multi-roofline模型可以为异构计算平台提供二元域算法建模,分析算法在异构计算平台上所能取得的理论极限,并能帮助找到算法的理论瓶颈,为算法在异构计算资源上的部署提供有力支持。