基于人工智能技术的大数据分析方法研究进展

基于人工智能技术的大数据分析方法研究进展

呼媛媛 苗雨欣  李沛洋  孙云彬  李昕阳 

北方自动控制技术研究所 山西太原 030006

摘要：信息智能化技术的发展速度和衍生的各种技术工具成为社会转型发展的技术支持，尤其在大数据领域，人工智能技术的应用为数据采集速率、数据识别准确率等方面带来极大提升。基于此，本文对当前时代下大数据分析的重要性进行探讨，然后对基于人工智能技术的大数据分析方法于研究进展进行了研究，以供参考。

关键词：人工智能；大数据分析；研究进展

1大数据分析的重要性

所谓大数据，指的是非结构化数据的集合，相较于传统数据管理工具，其具有鲜明的数据采集、存储与处理能力，在对其开展目标信息的提取工作时，必须通过处理海量数据方可实现。但是一旦有效挖掘数据信息，就能够获得大量的内在价值信息和科学知识，促进数字经济的快速发展。新时期下，新媒体技术、移动通信网络几乎覆盖全球，数据信息无处不在，在经济发展方面，通过对产业、工业发展相关数据进行深入分析，能够为产业经济结构的调整提供有效支持；在制造方面，通过结合物联网、BIM等技术，能够为制造业转型和社会发展提供强有力的技术支持；在人们日常生活中，大数据分析的落实能够优化网络体验，得到更为人性化、智能化的信息获取体验。总而言之，大数据分析的重要性是显而易见的，它不仅体现在经济社会发展层面，也作用于人们的日常生活。

2基于人工智能技术的大数据分析方法应用

2.1机器学习的大数据分析

机器学习是人工智能技术的组成部分之一，在当前大数据分析技术的研究阶段，应用机器学习已经成为大数据分析技术中最重要的部分。技术人员利用机器学习技术有效讨论当前大数据分析技术，提高当前工作质量，将大数据技术应用到日常生活中。研究人员对大数据的分析从四个主要方面开始：大数据聚类、大数据关联分析、大数据分类和大数据预测。研究人员在使用机器学习分析大数据技术时，需要结合现阶段机器学习技术的实际情况，才能有效地将机器学习技术应用到日常生活中。例如，当研究人员使用机器学习分析大数据时，他们使用传统的聚类算法对现阶段的大量数据进行阻塞和简化，然后将这些计算结果重新组合以实现大数据分析。其中，MapReduce是目前分布式计算的主流框架之一，研究人员可以使用该框架通过机器学习来实现数据分析。在研究传统聚类算法时，由于现阶段数据量较大，所有的研究工作都比较繁琐。它是一种并行聚类算法，可以有效提高计算机处理速度来分析经典大数据。

2.2深度学习的大数据分析

当前的大数据研究强调使用深度学习技术，并为提高计算机操作质量做出相应贡献。深度学习代表了这一阶段人工智能技术的关键技术，它要求公司员工在模型训练过程中注意对各种阈值和参数的迭代计算，以实现这一阶段的计算机智能并构建为这些隐藏阶段构建深度网络，逐渐适应当前的工作质量，并为大数据分析指明方向。目前，深度学习技术研究取得了一定的进展，有力地支撑了我国经济和产业的发展。基于Spark的分布式平台可以利用内存计算训练模型参数，逐步构建深度网络，提高大数据分析效率，为当前阶段大数据探索指明方向。在深度神经网络分析中，研究人员重视算法工作，并借助信息论逐渐适应当前工作的发展，明确整体数据中隐藏神经元的数量。然后将大数据划分为块，并根据深度学习-训练步骤实现对各种数据的迭代计算，从而改变当前的工作质量[6]，提高深度学习模型的学习速度，提高相应大数据分析技术的准确性，从而实现大数据的构建。

2.3以计算智能为基础的大数据分析

计算智能为人工智能分支之一，其具有随机性、启发式特征，在大规模优化方面能够发挥良好作用，而传统算法以收敛速度为侧重点，强调集中化思想，若所需分析的数据过于庞大，则会使传统算法难以处理，即使能够处理分析也会形成较大时间消耗，数据分析效率严重不足。而当前数据复杂性、规模化程度日益增加，此时可在大数据分析时引入分布式算法，从群智能、进化算法两个方面展开大数据分析。（1）群智能算法分析。其构建了分布式计算环境，对算法搜索过程具有较强加速效果，其主要借助粒子群算法、布谷鸟算法、蚁群算法、萤火虫算法等顺利完成大数据分析。（2）进化算法分析。该算法分析方式含有大量迭代计算，在具体大数据分析过程中，主要通过大数据分组保障运算分析效率，通过长期的进化算法研究，进化算法现已能够实现差分自动分组，降低不同分组内的变量依赖程度，借助智能化分析提高算法分析效率，以此解决传统算法在预算效率方面的不足。除此之外，大数据分析时还可混合运用多种算法，如贪心算法、遗传算法、模拟退火算法等，同时融入加速技术、分布式计算等，对原算法精准优化，继而提高数据分析效率。

3基于人工智能技术的大数据分析发展进度及方向

3.1聚类研究进度及方向

目前，在我国大数据分析当中，采用的都是最传统的聚类算法，但是大数据聚类由于其复杂度和困难度较高，传统的聚类算法根本不能直接应用到大数据聚类当中，因此引用了Mapreduce和K-means两种算法。以Mapreduce为基础的大数据聚类算法，可以通过分布式来实现，并且应用这种算法，可以从根本上减少大数据聚类的复杂程度，并在使用的过程中，可以更好地增加数据的延展性，而且在计算时也可以将计算时间最小化，同时对计算机硬件也没有太大的要求。而K-means作为比较经典的一种算法，有着非常广泛的应用范围，可以在一定程度上提高数据的处理速度。

3.2关联研究进度及方向

前文已经介绍过大数据关联分析，也被称为关联挖掘，它是大数据挖掘当中主要的一项发展任务。目前，我国对大数据关联的研究进度主要着重在Apriori关联规则和频繁模式增长上，而且关联规则挖掘在我国有着非常广泛的应用领域，像我们日常生活中的数值分析以及日志分析和智能交通等，都可以运用到关联规则挖掘。例如，在对于出租车轨迹研究上，利用关联规则挖掘可以对汽车的故障进行实时诊断，并且还能够在一定程度上避免因为模式数过大而导致的计算速度过慢的问题。在未来，关联挖掘算法在我国会有更加广泛的应用，因为它主要的作用是对已经存在了的算法进行并行化处理，这就更能符合我国未来大数据的发展趋势。

3.3预测研究进度及方向

大数据预测是我国目前针对人工智能技术下大数据技术的主要研究内容，它可以应用到很多行业当中，但是目前我国的大数据预测研究还面临着两个非常困难的挑战：第一就是如何能够在预测过程中快速获得一个趋势轮廓，而且还需要保证数据的精确性；第二就是有越来越多的数据呈几何倍数增长，很难在其中找到有价值的信息。和我们日常生活中关联性最紧密的例子就是对于监控视频中有用价值的寻找。在几个小时甚至是几天内的监控视频中，能够为我们所用的数据，可能只有几秒，那么该如何在这样庞大的信息数据中找到我们所需要的价值，这就是我国大数据预测当中存在的主要挑战。

结语：

当前，我国的人工智能大数据分析法已经在某些领域得到了有效应用，但是在实际的应用中为了提升算法的应用性，相关的技术人员首先应该有目的性地对大数据聚类、关联分析等不同处理方式进行进一步的研究。同时还应该根据深度学习模型的实际使用情况进行不断的优化创新，使其能够在一定程度上提升算法的准确度。

参考文献：

[1]周耀林,柴昊,赵跃.国际图情领域大数据研究现状与趋势探析[J].图书馆杂志,2019,38(12):16-27,44.

[2]崔校郡.新时期大数据分析与应用关键技术研究[J].信息技术与信息化,2020(1):204-206.

[3]程聪,王永根.人工智能技术的大数据分析方法探讨[J].信息记录材料,2020,21(5):128-130.