大数据背景下实现财会数据信息的分析方法研究

大数据背景下实现财会数据信息的分析方法研究

张少培

黄河水利科学研究院，河南 郑州 450003

摘要：随着互联网技术的发展，大数据技术已经逐渐应用至各种行业，传统的财会数据信息的分析方法中存在分析时间过长、分析不全面、难以建立数据关系网等问题，已经难以满足社会日益增长的财务需求。针对以上问题本研究对大数据技术在财会数据信息的分析方法中的应用进行探讨。

关键词：大数据；财会数据信息；数据挖掘；数据分析；计算机技术；

中图分类号：F230 中国文献标识码：A 国家标准学科分类代码：790

0 前言

随着互联网的迅速普及和计算机技术的飞速发展，大数据^[1-3]逐渐应用到各行各业中。传统的财会数据信息^[4-5]分析方法受技术的约束时效性太差，需要会计人员根据繁琐的内部数据进行长时间分析，得出的分析数据精度不够高，在进行决策和预测时参考价值不足，本研究将大数据相关技术应用到财会数据信息分析中，设计财会数据信息分析的体系框架和技术架构来对财会数据信息的分析方式进行优化。

1大数据和财会数据信息分析概述

1.1 大数据概述

1.1.1大数据的含义和特点

数据是通过事务进行采集、存储和分析生成的，大数据就是对大量的、不同类型的数据进行提取和整理，分析这些数据并找到数据间的关系，通过这些关系的运用来提高工作中的效率。近些年随着人们对互联网更多的应用，在生活中的一举一动都在生成数据，这些数据形成了一个大到无法计算的数据量，随着计算机技术的发展，人们已经进入大数据时代，大数据将在生活的各个方面产生影响。目前大数据具备的特点为Value、 Volume、Variety、 Velocity和Veracity。Value代表价值高，大数据中数据之间的关系和少量数据具有很高的价值，但是单一数据的价值并不高；Volume代表数据量非常大，已经达到了PB级别的数据量，传统的数据分析方式已无法适用。Variety代表数据的类型很多，包括半结构化数据、结构化数据和非结构化数据等，具有文本、视频、图像等多种数据形式。Velocity代表对数据的处理速度非常快，在数据量极大的情况下做到实时同步处理。Vercity代表数据的准确性，因为数据的来源和质量参差不齐，所以需要进行数据的预处理。

1.1.2大数据技术

大数据的技术是指在大数据进行数据采集、数据存储和数据分析等工作时所需要得的相关技术。目前常用的大数据技术为数据仓库^[6]技术、数据挖掘^[7]技术、分布式存储技术、内存计算技术等。大数据技术具有类型众多、应用广泛的特点，在不同的大数据应用中运用多种不同的大数据技术进行工作，随着大数据进入各行各业，大数据技术处于迅速发展阶段。

1.2 财会数据信息分析概述

1.2.1 财会数据信息的分类

财会数据信息分为成本类数据、利润类数据、销售类数据、客户类数据和其他类数据五种。只有对成本进行合理的控制才能提高企业的竞争力，企业的成本类数据包括硬件成本、员工成本等；利润是企业运行的价值所在，类润类数据包括产品利润、代理利润等；销售情况决定着企业的方向，销售类数据包括地区销售情况、产品销售情况等；重点客户的筛选对企业至关重要，客户类数据包括客户往来情况、资金流动数额等；其他类数据包括在核算期间的财务数据、企业负债等。

1.2.2 财会数据信息分析的意义和方法

财会数据信息分析是数据分析在财务行业的运用，以企业的财会数据信息为基础利用分析方式进行计算、比较、评估等工作。通过对财会数据信息分析可以进行成本控制、未来盈利预测、销售计划制定、发展方向确定等工作，为企业经营提供数据支撑。

财会数据分析的方法有很多种，主要包括因素分析法、对比分析法、趋势分析法、结构分析法等，传统的财会数据信息分析以对比分析法为主，通过内部数据对比得出分析结论，大多通过会计人员进行人工分析来进行。

1.3 大数据在财会数据信息分析中的优势1)分析速度优势

大数据特点之一是处理速度快，能够达到数据的实时同步处理，传统的财会数据分析往往需要三个月才能得出结论，时效性非常差，得出结论后得出的成本预测、利润预测等往往与实际情况相差较大，利用大数据进行财会数据信息分析大幅度提高了时效性，及时得出结论提供数据支撑。

2)分析精度优势

传统的数据分析方式得出的分析结论简单，类型过少，难以发掘数据间的关系，在销售调整、确定发展方向、成本和利润预测中无法提供准确的参考数据。大数据技术中数据挖掘技术通过相关原则分析、聚类分析、分类分析等算法能够对财会数据信息进行充分的挖掘，找出数据之间的联系并建立数据关系网，得出更加精准的分析结论。

3)数据采集优势

传统的财会数据信息采集主要是内部财务报表、销售情况、生产情况等结构化数据，而且人工采集数量有限，缺乏更全面的参考数据。大数据数据采集技术可以对半结构化数据、非结构化数据进行采集，并对采集数据中错误和缺失部分进行处理。

4)数据库构建优势

传统的财会数据信息采集和存储中缺乏有效的数据采集方式和存储大量数据的能力，导致数据库数据数量少、质量不足。使用大数据技术中数据仓库技术来对财会数据信息进行存储和管理，可以根据需求快速的进行数据抽取，容纳更大的数据量。

2大数据背景下财会数据信息分析的体系框架和技术架构

2.1财会数据信息分析体系框架

财会数据信息分析需要一个完整的体系框架来作为基础，本研究根据财会数据分析的需求设计体系框架，图1为财会数据信息分析体系框架图。

图1财会数据信息分析体系框架图

财会数据信息分析体系框架分为采集层、存储层和应用层三个部分。

1)采集层：采集层主要是对财会数据信息的获取，通过对财会系统各部分的信息采集进行财会数据信息抽取、财会数据信息清理、财会数据信息加载和财会信息处理汇总。

2)储存层：存储层主要是对财会数据信息进行存储，通过建立数据库的方式对采集层汇总的财会数据信息进行存储，随着时间的推移根据需求对财会数据信息进行增删，实时更新财会数据信息，为财会数据信息分析建立数据支撑。

3)应用层：应用层面主要是设备溯源体系所提供的功能，包括查询、审计、评估、重构等方面。电力设备管理员可以通过识别电力设备标识调取出电力设备的溯源信息，对电力设备进行查询、评估、审计等工作，也可以通过应用层对设备溯源体系进行重构。

2.2大数据财会数据信息分析技术架构

利用大数据技术对财会行业提供技术支撑，在对财会数据信息进行查询、分析、审计等操作时可以快速完成财会信息的提取和处理，从而更准确、更快速、更全面的完成财会数据信息的相关工作。利用大数据技术建立起一个可靠的财会数据信息分析架构是财务数据信息分析的重要部分。图2为大数据财会数据信息分析技术架构图。

图2 大数据财会数据信息分析技术架构图

大数据财会数据信息分析技术架构分为财会数据信息采集、财会数据信息存储、财会数据信息处理三部分。

1) 财会数据信息采集：主要包括Kafka(实时数据处理)、Sqoop(数据库数据抽取)、Kettle(数据抽取)、Golden Gate(数据库实时同步)、Flume(日志收集)。对实时数据流、数据库、数据文件进行采集，适配于多源异构数据源。使用Kafka进行实时数据采集，数据库中的数据经过Sqoop大量抽取至HDFS分布式文件系统中，Flume对日志收集对系统日志进行收集并储存，Goled Gate对数据库数据进行实时同步。

2) 财会数据信息存储：主要包括MySql、PsotgerSql…(关系型数据库)、HBase(分布式在线数据库)、Spark(内存计算)、Hive(数据仓库)、Pig(数据流处理)、MapReduce、HDFS(分布式文件系统)、Yarn(统一资源调度)。采用MySql、PsotgerSql…数据库等作为关系型数据库，采用Hadoop平台的HDFS分布式文件系统和MapReduce分布式计算框架，使用Yarn进行资源调度，结合HBase分布式在线仓库和Hive数据仓库实现存储。

3) 财会数据信息处理：主要包括SQL解析(数据库解析)、Mahout(数据挖掘)、R-Studio(数据分析)、BI(数据交互)。对数据进行分析处理，迅速的对数据进行调用。

通过大数据财会数据信息分析技术架构可以使分析结果的生成时间从几个月提高至实时生成，并且提高分析的精准度，发掘数据中之间的关系，建立数据关系网。

3 总结和回顾

本研究对大数据和财会数据信息分析进行了概述，指出了传统财会数据信息分析中的问题，将大数据技术应用至财会数据信息分析中对财会数据信息的分析方法进行了优化。虽然当前大数据技术不能解决财会信息分析中的所有问题，但是一定能够给财会行业带来很大改变，希望大数据技术能够快速发展应用到财会行业中去。参考文献

[1]李璟,胡立勇,肖鸥等.数据挖掘技术在医保管理平台中的应用[J],2016,11(05):79-80.

[2]李学龙,龚海刚.大数据系统综述[J].中国科学:信息科学,2015,45(01):1-44.

[3]李佳宝.大数据时代会计从业人员素质提升策略分析[J].财经界,2020(28):253-254.

[4]苗菲.集团公司财务数据管理浅析[J].今日财富,2020(19):103-104.

[5]徐徐.数据化时代财务管理的机遇与挑战[J].商讯,2020(26):34-35.

[6]AHMAD B,MEREDITH Z,AMANDA B,et al.Factors Associated with Increased Adoption of a Research Data Warehouse[J].2019,257(00):31-35.

[7]MUHITTIN S,MUSTAFA S,YASEMIN U,et al.An Assessment of HbA1c in Diabetes Mellitus and Pre-diabetes Diagnosis: a Multi-centered Data Mining Study[J].Applied biochemistry and biotechnology.2020,190(01):44-56.