简介:大数据分析是检查具有各种类型的大量数据并快速生成以识别隐藏模式、未知相关性和其他有用信息的过程。在现代汽车集团的研发中心,有许多类型的机器能够以前所未有的规模生成数据。作者开发了一种名为VDMS的车辆信号采集设备。这种类型的传感器每天在大数据系统上存储超过1TB的数据。因此,分析不断增加的数据量和高速流传感器数据的能力是必不可少的。本文研究了传感器数据的分析方法,首先,建立了从信号数据相关性分析到分类模型的分析过程,并开发了针对信号优化的分析方法。另外,提出了一种将异常信号数据形成图案并检测特定图案的方法。
简介:摘要为解决用户在开展节电工作时面临的用电数据不透明、缺少节电指导依据等问题,提出大数据背景下基于数据挖掘的用户节电通用分析方法,并在大数据平台上予以并行化实现,设计了直观的可视化展示形式。首先依据用户用电特性通过高维聚类实现了用电群体细分,然后融合电力、气象、经济等多维度数据开展节电分析,基于用户能效综合评估确定群体内节电标杆并量化用户节电潜力,接着通过多源数据关联分析获得用户节电策略,最后,通过SparkR在大数据平台上实现了节电算法业务的并行化,基于JavaWebMVC框架实现了分析结果的可视化展示。实际应用效果表明,所提出的节电大数据分析方法,能有效关联多源数据,实现对海量用户数据的高效分析。