概述移动通信网络中大数据处理的重要技术

概述移动通信网络中大数据处理的重要技术

米尔阿力木江刘信

米尔阿力木江刘信

（国网新疆电力公司信息通信公司新疆乌鲁木齐830000）

摘要；近年来，移动通信网络发展迅速。目前，移动通信网络已经覆盖世界大部分国家，网络的数据能力也在不断加强，如现在多数经济发展较快国家已经建成了具有较强数据通信能力的第三代移动通信网络，正在研究并初步试用的第四代移动通信网络将具备更强的数据通信能力；同时，移动通信网络运营商在大规模信息传输网络的方面积累了较为丰富的运营管理经验，不断拓宽了移动通信网络的应用领域和应用范围。

关键词；大数据；移动通信网络；云计算

引言

随着移动通信网络的迅速发展，尤其是建立在移动通信网络之上的物联网的发展，数据量以前所未有的速度增加。分布在不同地理位置的传感器，为实时采集各种对象的信息，不断产生数据，长时间积累的数据量极其惊人。大量的移动设备，如移动电话、PDA以及导航设备等，不断采集人员的位置、移动、用户行为信息，这些信息的数据量都达到EB量级以上。大数据的产生给移动通信网络带来了诸多挑战，其中最为重要的是大数据为网络传输带宽带来的挑战，而传输是数据处理过程中关键的环节。

一、大数据概念与特点

1.1被动产生阶段

数据库的诞生促使人类社会数据量的第一次飞跃。在这个阶段，数据库系统主要为政府、大型企业所应用，如超市的销售记录系统、银行的交易记录系统等。这个阶段数据往往是随着一定的运营活动而产生，数据属于被动产生。

1.2主动产生阶段

互联网的出现促使人类社会数据量的第二次飞跃，用户原创性内容大量出现在Web2.0之上，微博、博客、QQ日志的出现使得用户自愿产生大量数据，智能

手机、平板电脑等移动设备的使用促进了人们在网络上发表自己意见的方便性，这个阶段的数据是主动产生的。

1.3自动产生阶段

大数据的产生源自于人类社会数据量的第3次飞跃，即数据自动产生方式的出现。这次数据量的飞跃源自于移动通信网络与物联网融合的结果，感知系统

的研制，大量传感设备布控在世界的各个角落来监控世界的各种对象。数据以自动的方式产生，这是促进大数据时代到来的根本原因。什么是大数据？目前，学术界还没有一个统一的定义，但是通过对大数据的本质研究，可以抽取大数据的本质特点，具体包括以下几方面：

1）数据量大：需要处理的数据量高达PB级，甚至是EB级。

2）非结构化：非结构化数据在大数据中所占比例增加。美国弗雷斯特研究公司分析师在2010年《政府今天所面临的挑战》报告中预计：“数据将会在今后的5年内增加8倍，其中非结构化数据在各组织机构的数据中所占份额超过70%～80%，并且这些非结构化数据的增长速度是结构化数据的10～50倍。”

3）多源异构：以物联网为例，大量异构终端如传感器、移动设备和RFID等在不断地采集数据，导致采集到数据具有多源异构性。

4）实时性：数据需要被快速地处理，尤其是在欺诈检测、大规模在线监测与检测中；需要做到数据的实时分析和处理。

二、大数据处理的重要技术

大数据的4个特点分别为数据的传输、存储和分析带来巨大的挑战。大数据处理一般需要经过清洗提取、集成、分析挖掘和交互展示等几个重要步骤。

在移动通信网络中，尤其是物联网当中，大量的终端设备在无人工监控状态下工作并且很多终端工作环境极为恶劣，这就导致物联网采集的数据中含有各种各样的错误和误差，原始数据的可靠性低，主要表现为部分数据的不正确性、不精确性和不完全性，同时大量数据存在冗余。因此，有必要通过数据清洗技术、去冗余技术提取移动通信网络中有价值的数据。虽然目前已经存在大量的数据清洗技术，然而这些算法主要针对传统的结构化数据而设计，面对非结构化的大数据而言，这些技术并不适用。

移动通信网络采集和传输的数据具有多源异构性，对异构数据进行集成，对于后期的分析与挖掘具有十分重要的意义。数据融合是指将来自不同数据源的表示同一实体的不同表象融合至一条单一的表象，并解决可能存在的数据冲突的过程。针对移动通信网络中的大数据的多源异构性，大数据的异构融合需要涉及实体统一、数据冲突解决和数据关联几个问题。尤其是数据关联，将传统的结构化数据与移动通信网络中采集到的大量非结构化数据进行有效关联，通过融合提取关键信息。在经过对数据进行清洗、提取和集成融合之后，需要对移动通信网络中采集到的大数据进行分析和挖掘。移动通信网络中大数据的分析和挖掘主要涉及到数据的表示、存储两个基础问题，同时高效地挖掘分析工具和开发环境对于移动通信网络中大数据的挖掘具有至关只要的意义。

可视化分析对于大数据处理具有关键作用，一方面可以通过可视化分析对大数据本身及大数据的分析挖掘结果进行展示，有利于人们的理解和进一步分析；

另一方面，可视化分析技术有助于进行人机交互，实现人机交互处理，增强大数据分析处理能力。其中，原位分析、数据移动传输和网络构架、不确定性量化对于移动通信网络中大数

据的可视化分析尤为重要。

三、云计算——移动通信网络中大数据处理的关键技术

通过上述分析，不难看出，移动通信网络中大数据的处理趋势主要在于数据量急剧膨胀，数据分析深度增加。这两大趋势为移动通信网络中大数据处理的实

时性带来巨大的挑战。云计算的出现为移动通信网络中大数据的实时处理带来新的解决方案。典型的云计算模型是2004年Google提出的MapReduce技术，作为面向大数据分析和处理的并行计算模型，引起了工业界和学术界的广泛关注。

MapReduce技术框架包含3个层面的内容，即分布式文件系统、并行编程模型、并行执行引擎。MapReduce一经推出，受到了业界的广泛关注，在其应用过程中，也暴漏了诸多的缺点，例如不支持Schema、没有存取优化、依靠蛮力进行数据处理等。针对MapReduce存在的缺陷与不足，研究人员围绕MapReduce开展了深入的研究，包括MapReduce性能的提升、MapReduce易用性的改进等。尽管MapReduce获得了广泛的应用，并且学术界和企业界已经通过实践证明了MapReduce是处理和分析大数据的一个有效工具，但是在处理大数据过程中，MapReduce依然存在严重的缺陷。从大数据的处理模式上来看，大数据的处理分为流处理和批处理两种。而MapReduce只能做大数据的批处理。事实上，在众多应用中，如社交网站、电子商务中，都要求对大数据进行在线处理，在这个方面，MapReduce显然无能为力。

结语

随着移动通信网络的迅速发展，数据呈现爆炸式的增长，人们正被数据洪流所包围，大数据的时代已经到来。正确利用大数据给人们的生活带来了极大的便利，但与此同时也给传统的数据管理方式带来了极大的挑战。总的来说，目前对于大数据的研究仍处于一个非常初步的阶段，还有很多基础性的问题有待解决。

参考文献：

[1]覃雄派，王会举，杜小勇等.大数据分析-RDBMS与MapReduce的竞争与共生.软件学报.2012

[2]孟小峰，慈祥.大数据管理：概念，技术与挑战.计算机研究与发展.2013

[3]李国杰.大数据研究的科学价值.中国计算机学会通讯.2012，8