大数据分析方法及应用初探

大数据分析方法及应用初探

李志涛

厦门力达威化工科技有限公司，福建省厦门市 361021

摘要：随着科学技术与互联网技术的发展，我国也迎来了大数据时代。大数据技术已经在各行各业中得到了广泛的应用，在企业以及事业单位中的应用也越来越重要。人们也越来越重视对大数据的研究，大数据时代中的主要数据的形态是非结构化流式数据，这也导致传统的数据处理系统已经无法满足对数据的处理分析，需要将大数据的处理系统应从流程设计向数据设计的方向转变。

关键词：大数据；分析方法；应用
引言：在大数据时代下，云计算、物联网以及大数据等新形势的信息技术也在不断的发展，推动了企业与事业单位中的转型升级。大数据技术处于新信息技术中的核心技术，其能够帮助不同领域实现优化升级，推动社会朝着智能化的方向发展。大数据自身具有独特的优势，为人们的生活也带来了极大的便利。文中针对大数据分析方法与应用进行简单的探讨。

一、大数据分析方法

大数据技术在人们的生活中已经占据了重要的地位，现在大部分的专业人员也开始对大数据分析处理技术进行深入的研究，使其能够的得到更好的发展。计算机技术的进步推动了交叉技术的应用。大数据分析处理的方法其实有很多，在专业学者的研究下，总结出了几种较为基础的分析处理的方法。

（一）信息采集

在对大数据技术应用中，需要专业的技术人员进行操作，其中对信息的采集也是需要根据不同的主题通过专业人员来完成，所采集的数据信息主要也是应用相关主题以及模块中，大数据技术的应用在对数据进行采集时，为了保证信息采集的效率以及对成本进行考虑，是不需要对整个互联网中的数据信息进行搜集的。在对模块信息进行采集时，主要是需要研究与模块具有相关管理的主题以及页面的链接指向进行探究，同时还能对其页面进行测算是否值得访问，通过运用大数据分析处理方法，有效的减少在信息采集中查看到太多与主题无关的页面。

（二）网页预处理

网页预处理涉及到的网页去重处理，其中去重处理可以分为两种，分别是URL的对比去重，使用与哈希算法，还有一种是基于内容对比去重，主要是用于文本相似度算法。网页去重中的特征是需要先抽取文档对象，对文档的内容进行分解，最后将文档的特征在进行表达^[1]。在对文档进行处理时，有目的性的针对特征集合的进行压缩，将哈希码等文本转化为数字串映射方式，减少存储的空间。在对文档进行处理时，还需要提升比较速度，对文档的相识度进行计算，还应根据文档的重复比例分析是否属于重复文档。一般在处理的过程中是对网页中的某一个信息特征进行提取，其信息特征一般都是一组关键词，还有一种是关键词加权重的组合，通过对相应的算法，将关键词转换为关键代码，若两个网页中有大量的关键代码重合，那么就表明两个页面中的内容有较多的重复。

3. 网页分类

随着网络技术的发展，能够看出人们的日常生活中需要重视的一个问题是网页的分类。只有对网络中的数据信息进行正确的分类，才能够保证人们能够更好的对网络数据资源进行应用，对网页进行分类还能整理网络环境，保证网络环境能够有理有序的进行。网页分类应先对网页中的文本素材进行分类，文本分类主要是对邮件进行分类、对信息进行过滤或者是对文献进行翻译的任务，文本分类中需要重视的问题是对关键词选择的问题以及权重分配的问题。

二、大数据分析在行业活动中的应用

在大数据时代下，非结构性数据处理以及数据挖掘中的应用范围是较为广泛的，其能够在电信行业、地产行业、证券行业以及金融行业等行业中进行应用，下文针对大数据分析在各行业活动中的应用进行说明。

（一）电信行业

部分城市中的电信运营商中的上网日志分析系统，这种系统需要对用户上网中历史记录的数据信息进行收集整理，对不同用户在网络中的偏好进行分析。上网日志分析系统主要对用户在网络历史记录中有效的上网日志URL进行统计，从日志URL中抓取到网页相关的内容，在网页中查询关键内容，对正文进行提取，并通过文本分类的计算法对网页中的数据信息进行计算分类，最后应用大数据技术对用户在网络中的所关注内容的类别总数进行统计，根据不同的类别对用户的喜好进行合理的分析。

（二）地产行业

不同房地产企业在经营中，是需要对企业中的品牌实时的进行营销，这就需要企业应建立实时营销系统^[2]。系统在建立后投入使用时，通过社交媒体中的数据信息，对品牌在网络中的口碑进行监测，发现对企业品牌负面影响并及时的进行制止。房地产企业在经营中还需要定期的与客户进行沟通互动，使其客户能够认可企业产品，提升客户对企业的忠诚度。对企业的竞争对手以及同行中的企业进行监控，及时的掌握同行以及竞争对手的资讯，使其能够对竞争的态势以及市场的发展趋势进行评估。最重要的是还需要提升企业品牌的知名度，在加强广告投入的同时保证企业中的服务质量，将媒体中的影响力转变为客户量。

（三）证券行业

大数据分析在证券行业中的应用，对证券商战略信息进行检测。通过对历史进行回顾，了解信息摘要，根据网络中的题目、摘要以及原文的网络地址以及今日的舆论舆情等信息获取渠道，精简期贷产品相关的信息，同时还需要提供出全文的链接。大数据分析还能够对热点事件的列表查看到相似的事件，对历史事件中的趋势影响进行分析，同时大数据分析还能通过对天气的指数以及发展趋势相对应的曲线对相似的历史天气以及趋势进行对照。

（四）金融行业

大数据分析在金融行业中的应用，比如在大型股份制的商业银行中的应用，能够建立供应商风险评估系统，其系统在建立后，可以对供应商内部的数据信息进行抓取，对供应商企业中的年度报表、公司近年的变动以及企业中的领导情况等数据进行抓取，也能够了解到供应商企业中的财务状况，商业银行对企业内部的状况了解后对运营指数进行分析。商业银行还能够通过对供应商社交数据中的信息进行计算，评估供应商的社会影响力^[3]。最后通过对同类型企业中的数据进行对比分析，对供应商的实力进行评估，大数据分析在商业银行的最终目的是协助银行对供应商的风险进行评估。

结语：

综上所述，在大数据时代背景下，大数据分析已经在各行各业中得到了广泛的应用，也推动了各行业的发展。企业或单位中每天都有大量的数据信息产生，这些数据信息需要用大数据技术进行分析处理。通过大数据技术的应用，从海量的数据信息中提取重要的有价值的信息，使其能够推动各行业的发展。

参考文献：

[1]贾鹏飞,关戴婉静,朱佳丽,翟健.城市体检中新型大数据分析方法探究与应用[J].北京规划建设,2021(01):82-86.

[2]章雨晨,陈敏.健康医疗大数据分析方法体系框架及应用研究[J].中国数字医学,2021,16(01):104-106.

[3]杜祥军. 基于复杂网络的大数据分析方法研究与应用[D].青岛大学,2018.