基于云计算的大数据分析流程优化路径研究

基于云计算的大数据分析流程优化路径研究

李旭辉

（兰州大学信息科学与工程学院甘肃兰州730000）

摘要：近年来随着科技时代到来，大数据、云计算已成为全球关注的热点，云计算正处于高速发展的信息时代，数据也成为重要的资源备受关注。在大数据分析流程中，逐渐引入了云计算技术对其进行不断优化升级，从而进一步提升数据分析效率和质量，减少海量数据处理时间，提升系统响应能力。加强基于云计算的发数据分析流程优化路径探析，具有深远的现实意义。

关键词：云计算；大数据分析；流程优化

基于云计算技术对大数据分析流程进行优化，需要立足实际，结合大数据分析整体处理程序的具体要求，总结基本的运行规律，并在数据存储与访问、并行处理、组织与管理方面进行不断探索创新，结合用户需求和未来发展需要，将海量的信息通过有效的系统来进行快速整合处理，才能有助于不断提升大数据信息储存与利用价值，更好地发挥数据资源应有的功能。

1大数据基本内涵及基本处理流程分析

大数据是指通过常规的手段和方法难以对海量数据进行处理，只能依靠高端信息处理技术和方法对海量的数据在有限的时间内进行感知、获取、加工、管理、处理和共享应用的数据体系。大数据通常具有四个显著的特点，分别为体量大、模态多样、生成快速以及价值大密切低。大数据技术是对传统数据处理技术和方法的进一步升级，随着云计算理念的提出，以及相关体系内部系列技术的出现，越来越多的云计算技术平台产生，为大数据处理提供了更好的技术服务平台，对大数据处理流程优化也带来了很大的便利。在数据采集阶段，随着计算机互联网技术不断发展和广泛应用，数据来源也日益庞大，生产数据的环节也在不断增多，从而大大提高了数据的产量，数据之间的关联度等也越来越复杂，对数据采集提出了更高的速度和精度要求。所以需要对传统的数据整合处理技术进行不断优化升级，才能够在最短的时间内将海量复杂的数据通过一定的技术和方法实现快速简化处理，提高数据整合、处理和利用分享水平，更好地为用户服务。如果单纯地依靠传统的大数据处理技术，随着信息量不断增大，将难以应对未来高产量数据信息变化带来的挑战。所以需要对数据处理流程进行全面整合，并探索更加有效的优化处理技术，才能更好地提升数据资源的利用价值和服务效能。

2基于云计算的大数据分析流程优化路径分析

2.1基于云计算的大数据分析流程中存储与访问技术优化路径研究

在大数据分析流程中存储与访问技术优化程序可以分成实现数据流与控制流分离以及不缓存数据优化两个方面。针对数据流与控制流分离方面，在进行存储与访问技术优化处理过程中，主要是借助云计算技术来构建一种GFS文件系统，从而分流数据流和控制流。在整个文件系统节点中涉及很多的集群，每一个集群都配置了主控服务器，主控服务器可以对系统元数据进行有效处理，客户端作为以库文件形式提供应用程序的访问接口进行处理，GFS各个几点数据会借助数据块服务器，从而将数据通过文件的形式进行储存，进行访问。数据块服务器配置数量需要根据集群系统的规模来确定。在整个GFS文件体系中，分块存储的数据大小控制在64MB，并建立与数据库相对应的索引号，这样便于及时进行查找，并进行信息定位有效传送，将最准确的信息按照既定的服务模块传输至客户端，用户可以根据自己的需求进行信息读取等，这样就可以将主控服务器与客户端的数据进行远程有效传输，进一步降低了主控服务器承载负荷，并可以实现多个数据块服务器的同步访问。

2.2基于云计算的大数据分析流程中并行处理技术的优化路径研究

并行处理技术还可以分成逻辑分析技术与资源配置优化两个方面。整个大数据分析过程中，通常需要根据数据的逻辑关系进行要素分解，进而通过对比的方式来总结规律，并对主次关系进行研究，进一步推理，寻找内在联系和运行规律。想要不断提升逻辑分析水平，需要对问题从分解处理到整合应用方面进行流程整合与优化。可以借助云计算技术构建数据处理模型，对各类数据进行并行处理，对任务按照既定的程序进行分解，划分为不同的数据块单元，随后进行分支并行处理，集约化计算，这样将数据结果自动生成，完整地体现。与计算技术服务体系在大数据问题逻辑分析方面提供强大的技术保障和服务支持。在数据资源优化配置方面，由于数据系统比较庞杂，需要对海量信息进行集中处理和优化，才能提高资源最大化利用水平，提升使用价值。

2.3基于云计算的大数据分析流程中组织与管理技术优化路径研究

在组织与管理技术优化方面，云计算的优势主要体现在以下方面：一方面云计算可以通过对数据模型组织结构进行优化，设计一种基于云计算技术的以Bigtable为载体的分布式多维映射表，这样可以对数据模型中的行、列关键字和时间戳实现索引，从而提高数据优化处理效果。通常情况下Bigtable的最大行关键字为64KB的字符串，列设计中引入列族方式减少多样列关键字的干涉，从而有效提升集中处理效率。在引入时间戳改进体系中，借助Bigtable在数据模型中引入非顺序处理的时间戳，从而提高了数据项间的价值关联度，进一步提升了数据分类整合和处理效率。

3“大数据”环境下计算机处理技术在未来的发展趋势

3.1云计算网络的发展方向

在大数据时代下,普通的计算机硬件已经无法满足现阶段的数据需求。传统的计算机硬件构建也存在着一些问题,其中比较明显的就是这些数据需求已经超过了现阶段计算机的硬件需求。云计算网络也拥有一定的信息储存能力,弥补了计算机处理数据缓慢和效率低下等问题,以此来确保云计算处理技术的高效性和便捷性。现代化的行业多种多样,但是无论是哪个行业都需要围绕着网络而生存,而企业的办公也离不开网络。从市场发展的角度来看,在技术上也是克服掉一些问题,由于云计算的使用概率是非常高的,涉及到的行业比较多,这就导致我们的生活都需要云计算来提供,但是这仅仅是一个短期的需求。因此,在未来的发展中,云计算也要构建在一个高速、稳定的网络基础上,让网络产品厂商能够提供一些应用服务保证,然后在此基础上去选择一些传输路径更高、更稳定的产品。

3.2安全信息技术的发展方向

在大数据背景下,信息泄露的后果是非常严重的,所以在这种情况下也应该将信息技术放置在一个非常重要的位置上。信息安全中的关键技术包含了保密、隐蔽和信息认证技术,保密则是防止信息泄露,隐蔽则是用于隐蔽通信、版权保护等。而在未来的发展中,信息安全技术主要是从网路化、标准化和集成化等多个方向发展,这实际上也是信息安全技术最主要的发展方向。同时,对于我国的实际情况而言,网络安全的发展趋势也要向着自主研制的方向发展,形成一些自己国家的操作系统和数据库。要知道,确保中国计算机安全的关键则是确保知识产权和技术,尽量从根本上去摆脱掉对外国技术的依赖。最后,在安全技术不断发展的情况下,强化安全技术的应用也是网络发展的重点内容。

结论

基于云计算的大数据分析流程的优化路径，主要是通过大数据分析流程中存储与访问技术的优化路径，大数据分析流程中组织与管理技术的优化路径组成。为用户的访问操作提供了便利、快捷，也在一定基础上推动了数据发展。

参考文献

[1]熊俊.基于云计算的大数据分析流程优化路径研究[J].电脑知识与技术,2018,15(08):181-182+185.

[2]赵明哲.基于云计算的大数据分析流程的优化路径[J].中国新通信,2018,20(21):37.

[3]王伟钧.基于云计算的大数据分析流程的优化路径[J].电子技术与软件工程,2018(21):164.

[4]高原.基于大数据的ASD公司营销管理组织与流程优化研究[D].吉林大学,2018.

作者简介

李旭辉，出生年月：1998.03籍贯：甘肃靖远；