IT架构在大数据时代的转型推进研究

IT架构在大数据时代的转型推进研究

蔡占军

河北东方学院

摘要：近年来，大数据技术在我国的通信、金融、交通等行业快速的得到了关注与应用，谁能先使用大数据技术帮助企业完成数字化的战略转型，谁就能先占据市场的领导地位。而大数据技术的爆发性增长且能在企业快速发展的原因，很大一部分需要归功于计算机科学领域前几十年的完整高效的IT架构积累。本文通过从传统、典型的两种IT架构模式，分布式软件架构与微服务架构两个角度，分析IT架构如何在大数据时代的转型起到推进作用。

关键字：IT架构；大数据；分布式；微服务

1引言

在疫情的影响下，越来越多的企业开始进行大规模数字化转型，在这种转型的过程中，大数据技术的应用以及大数据分析平台的搭建成为了重中之重。但是面临着大数据时代，数据繁杂，来源多样，且数据量庞大的情况，企业如何能够选用优秀的IT架构，以及如何将优秀的IT架构能够更好地符合企业不同的业务要求，切合地应用到企业的战略中去，是在大数据转型中目前很多企业和系统架构专家需要主要考虑的事情。本文在这种背景下，对两种优秀的IT架构，分布式架构和微服务架构，在大数据时代的企业的大数据平台搭建过程中所做出的贡献进行了分析，希望能够为企业和社会的大数据转型提供一些参考与帮助。

2 IT架构概念介绍

2.1 分布式架构

分布式部署架构通常是为了处理在段时间内产生的巨大数据量，并要求在很短的时间内将计算结果计算出来的任务，分布式架构的解决办法是使用很多台独立的服务器或者计算主机，然后将其连接起来成为一个分布式的网络，其中在这个分布式网络架构中的每一个计算主机，在分布式架构中，一般将其成为分布式系统的一个节点^[1]。在一个分布式架构中，会根据系统所需要处理的业务逻辑，设置不同的节点格式。分布式部署使用这种一个网状的节点架构，来实现节点之间的相互配合与协作。比如当一个超高难度的计算任务来到分布式架构的时候，分布式架构的主进程会根据预先依据系统的业务逻辑设定好的代码，来将这个大的任务拆分成很多个可以独立计算的子任务，将其分发给在这个分布式架构中的不同节点上，然后分布式架构中这些计算节点会根据所设置的代码运算的算法进行同时运算，并且能够将计算的结果通过记录到主节点和传输到一起。主节点根据分布式系统中不同节点已经计算出的结果，最后会将每个节点上计算出来的数据进行总结。最后可以实现在极短的时间里完成大数据时代时单个服务器或者主机的传统架构不能解决的大数据难题。

2.2 微服务架构

在微服务出现之前，人们通过MONILITHIC（单体架构）来开发应用，一个系统的应用只使用一套代码。使用这种模式设计的系统中的所有功能与对外服务都编写于一套代码中，但是随着系统的升级迭代，以及系统业务的变化，系统中的模块会越来越多，如果系统想要升级或者扩展，都变得非常困难。特别是当所有模块的代码放在一起的时候，如果其中一个模块的代码出现了BUG，那么整个系统就将全部崩溃，无法继续运行下去，这种模式的系统也无法拥有强悍的稳定性。因此在近些年出现了微服务的概念，所谓微服务的概念就是说，将一个系统的业务逻辑拆分成很多个模块，微服务架构相比于传统系统开发架构有着粒度小,仅专注于做一件事情，运行于分布式进程，轻量级的通信协议，松耦合、独立和多版本部署，多实例部署，提供更好的扩展能力等特点。比如企业的大数据平台建设，可以将前期企业必要数据的获取，从企业需求的不同维度进行分析，为企业的用户及员工提供易于理解且直观的数据可视化数据报表展示平台等一些功能，分别拆分出来，各自使用一套独立的代码进行开发。

3 IT架构在大数据时代中的应用研究

3.1分布式架构在大数据时代的应用

大数据时代的中心数据库数据庞大，数据的查询会变得困难，查询速度会变慢，特别当多线程共同对同一个服务器进行数据查询时候，数据库中心负载太大，可能会造成数据处理效率变低。因此，现在采用分布式存储技术来分割大量数据，将不同的数据模块存储在不同的数据存储服务器上，并使用不同的网络接口来实现它们之间的数据同步，然后再将数据结果汇总返回到本地，可以加快存储查询，处理的速度，提高系统运行效率。

同时，随着企业的业务数据的不断增加，在这种大数据时代，企业如果需要在极短的时间内，根据企业的业务需要能够对这种业务数据进行不同维度的分析，如果仅仅使用传统的数据分析模式中，使用单台服务器进行数据的计算和分析，是无法在要求的时间内计算出准确的结果的。这种大数据时代的企业业务数据分析与计算，必须依靠分布式架构技术，来将企业实时发送的业务数据，通过分布式架构的特点，将一个大的业务数据，根据预先依据业务逻辑开发好的算法，将这个大的任务进行分解成多个小的计算任务，然后分配到分布式架构中网状结构的不同节点去进行计算，最后将计算结果进行统一收集，然后交给大数据中台的前端数据展示平台去进行数据的可视化呈现。分布式架构的应用，能够帮助大数据能够在企业中的部署成为可能，也推进了大数据技术在数据计算中的时间缩减和效能的提高。

3.2 微服务架构在大数据时代的应用

当我们开发一个企业化大型大数据平台时候，我们通常会发现，大数据的不同繁杂的数据类型，属性和被查询和修改的频率都会不一样，而传统的一个服务器的架构应用下，我们通常会使用一个中心数据库，来存储所有数据。譬如一个垂直电商大数据平台的应用里面可以有客户信息数据、商品数据、购物车数据、订单数据和支付数据。一个服务器的架构应用下，我们很可能就使用一个MYSQL数据库就解决所有问题。而微服务框架下，允许也提倡每一个服务模块下拥有自己的数据库，这个数据库可以是SQL类型的数据库，譬如Oracle，MYSQL，Postgres等等关系型存储数据库，也可以是NOSQL类型数据库，譬如MongoDB，Cassandra, Amazon DynamoDB等等^[3]，企业可以根据自己的业务大数据维度的需求，在NOSQL里面来选择哪种类型的数据库。对不同的模块选择不同的开发语言，和开发团队分别对不同维度的应用服务进行开发，将单个庞大的应用系统的功能拆分成单个不同的小系统，分发给不同的数据支持团队进行系统开发，比如订单的数据处理分析，就单独拿出来交给订单的大数据处理团队做开发，这个团队可以使用自己擅长的语言，擅长的开发方式进行订单模块的大数据分析，然后只需要将结果与数据中台对接，数据中台便可以得到订单模块的大数据分析结果。

4总结

本文通过对两种典型优秀的IT架构，分布式架构和微服务架构。对于这两个架构在大数据时代起到的推进过程进行了详细的研究，分析了微服务架构和分布式架构在企业和个人在搭建大数据平台能够起到的架构贡献，也分析了这两种架构在目前的大数据处理过程中，仍然存在的一些不足以及需要在以后的计算机技术发展中优化的地方。优秀的系统离不开优秀的IT架构。IT架构是一个软件系统建设的基石，大数据时代的蓬勃发展离不开不断改进优化的优秀的IT架构，优秀的IT架构也得益于不断在社会的发展和个人的需求。只有不断地提出新的挑战，才能使IT架构的研究得到更好的发展动力与机会。

参考文献

[1]李标,徐进,邱红桐. 基于云计算技术的新一代公安交管信息系统架构研究[A]. 中国智能交通协会.第十四届中国智能交通年会论文集[C].中国智能交通协会:中国智能交通协会,2019:9.

[2]杨秋鸿,潘晓衡,赵铁柱,姚锦涛,董辉.基于分布式存储架构的大数据商务智能分析与应用[J].东莞理工学院学报,2019,26(05):56-61.

[3]高文洁.以大数据思维促进商业银行内部审计发展转型[J].财富时代,2019(10):113.

[4]沙金.大数据安全的技术架构和管理策略研究[J].现代计算机,2019(30):45-48+53.

1