营销管理系统省级集中部署模式下的数据迁移方法研究与应用

营销管理系统省级集中部署模式下的数据迁移方法研究与应用

陈孝文陈文超马超

（海南电网有限责任公司信息通信分公司）

摘要：随着南方电网“6+1”工程营销管理系统的推广应用，营销数据迁移越发显得重要，营销数据迁移成功与否成为了新旧系统能否顺利更替，新系统能否顺利上线的前提。本论文将营销管理系统省级集中部署模式下的数据迁移方法作为研究重点，对迁移内容、迁移难点、迁移方式及思路、迁移风险预控做了深入的研究与分析，并且应用到海南电网公司营销管理系统数据迁移工作中，充分验证了该数据迁移方法的有效性。

关键词：营销管理系统、集中部署、数据迁移、策略、风险预控

引言

在南方电网公司“服务型定位、经营型管控、集团化运作、一体化管理”发展战略目标的指导下，“十二五”信息化规划明确提出包括建设一体化的营销管理系统在内的公司六大企业级信息系统，实现与资产管理、人力资源、财务管理、协同办公、综合管理五大信息系统间的横向集成、纵向贯通，满足对营销战略的全面支撑。根据南方电网一体化系统推广要求，海南电网公司2015年9月实现一体化营销管理系统全局双轨运行，2016年4月初正式实现一体化营销管理系统全局单轨上线。为了系统迁移期间对客户提供7×24小时不间断的服务，在营销新系统上线期间如何保证业务的连续性，做到系统平滑过渡，数据迁移显得尤为重要。数据是经过长期积累的一笔宝贵的财富，数据迁移是迁移过程中最重要的部分，经过对数据进行必要的清洗、验证，将有用的数据高质量的全部迁移到新系统中。

1.数据迁移内容

数据迁移是指在系统软件开发中，将具有实际业务价值的数据，依据功能需求或系统开发的要求，在不同存储媒介、存储形式或计算机系统之间转移的过程0。新的营销业务数据模型将营销数据分为10大数据域，分别为客户域、电网域、服务域、核算域、市场域、财务域、营销设备域、量测域、管控域、支撑域。由于新旧系统模型差异大，需要根据新系统的10大数据域对旧系统数据进行数据转换。数据转换内容如下表所示。

根据数据的静态和动态特征，划分为3项专项工作：

工作单迁移：新、旧系统流程、环节、角色、权限均发生重大变动，因此工作单实现点对点迁移将比较复杂，将采用以下方式进行工作单迁移。

①在途工作单：将在途数据尽可能的完成归档操作，未完成的在途数据，迁移基础数据信息在新营销系统登记环节，重新发起流程。

②归档工作单：对于已经归档的历史工单由于流程环节对应等原因迁移会导致数据失真，由原系统厂家开发查询功能进行已归档历史工单查询。

历史数据迁移：根据新系统数据库规划，将历史数据迁移过程分为两个阶段：

①双轨运行前：将3年前的历史数据迁移至历史库，3年内的历史数据迁移至管理库。

②单轨运行前：将新系统双轨以后的数据迁移至生产库。

结构化地址梳理：旧系统地址填写不规范，无法实现系统自动处理转换为结构化地址，采用2种方式：

①转换工具转换：编写结构化地址转换工具，实现结构化地址的转换。

②人工核对补录：对于无法判断及进行规则转换的数据进行人工核对并补录。

2数据迁移难点解析

数据迁移是一个耗时、耗力且充满风险的非常复杂的过程。要想高质量的完成数据迁移工作，尽量减少或者避免迁移过程中可能出现的风险，必须要精通新旧系统的库表，以及库表各字段的类型、长度、规范代码、各表之间的关联关系等信息，熟悉各模块的业务及流程、各模块之间的关联业务及流程等。并且应该掌握数据迁移中经常用到的方法，重点关注难点问题，以防控风险。

营销管理系统的数据迁移工作有以下几个难点：

模型差异大：新系统的数据模型是基于营销领域的业务模型和需求分析，设计了三户模型，更强调客户全方位服务，与旧系统的数据模型差异较大。因此数据迁移工作对新旧系统模型的理解、库表对应关系、代码对应关系、业务对应关系、库表关联关系、业务关联关系的理解及熟悉程度要求较高；

数据量大：省级集中部署模式在直属供电局不再存储业务数据，业务数据也存储至省公司，涉及的数据量巨大。

3数据迁移方法研究与分析

3.1数据迁移方法

数据迁移采用“旧系统?中间库?新系统”的迁移方法，即：将数据由旧系统数据迁移到中间库，然后由中间库再迁移到新系统中。采用该方法的好处是对现有系统正常业务无影响，迁移过程、内容有据可查。

图2：数据迁移流程图

3.3数据迁移策略及措施

为了保障高质量、高标准的完成数据迁移工作，在数据迁移整体工作中必须坚持以下迁移策略：

根据数据属性、特性对周期类、台账类、参数类等数据分类处理；

对迁移过程性能进行评估，改进迁移过程、优化迁移工具；

全过程监控校验，确保新系统数据完整、准确。

另外，针对数据迁移工作中的难点制定以下应对策略：

模型差异大：迁移程序开发前，需深刻理解新、旧系统模型，明确模型间库表、代码的对应关系，明确库表、代码及不同业务间的关联关系。了解各试点单位间的业务差异及特殊业务信息，对新模型中无法处理的业务与试点单位及模型设计人员及时沟通并出具合理建议反馈至业主方；

数据量大：充分了解试点单位的数据情况，对迁移程序进行严格的压力测试，性能测试，根据各试点单位的实际情况，迁移过程有计划、分阶段、分步骤进行，将数据分批、分次迁移，避免数据迁移对现有系统正常业务的影响；

总而言之，在数据迁移过程中应针对各客户单位的实际情况分别制定详细的数据迁移方案、数据迁移计划，充分考虑数据迁移过程中可能存在的风险，严密监控数据迁移过程的各个风险点，同时制定风险的应对策略，尽量避免风险的发生，在风险发生时，通过风险应对策略，将风险的影响降到最低。对迁移后的数据进行有目的、有计划的核查、比对、验证，以确保数据能够完整无误的进行迁移。

3.4数据验证策略

3.4.1验证策略

制定数据验证规则，开发数据校验工具，验证数据迁出工具、迁入工具的安全性和可靠性，保证迁移数据的完整性和准确性。

使用系统工具进行全业务数据验证，全局进行人工抽样核查；

动态数据，如工作单、欠费等数据进行专项验证；

迁移过程数据的断点再现；

验证新旧系统文档附件匹配的准确性；

重要客户档案数据逐条确认；

周期性试算费验证数据准确性；

迭代迁移测试，配合业务专家验证迁移数据的准确性。

3.4.2试算费验证

电费试算是验证计费数据和用户记录一致性、完整性、真实性、有效性比较简便实用的方法，不仅是对新的算费程序的检验，也是数据验证的一个关键环节0。

采用“在旧系统已经计算完成的用户电量电费，在新系统重新计算后，比对电量电费是否一致”的方式进行试算费验证。具体流程图如下。

图3：试算费验证流程图

4数据迁移风险预控管理

营销数据迁移成功与否成为了新旧系统能否顺利更替，新系统能否顺利上线的前提。在数据迁移的整个生命周期内都可能受到未知因素的影响。当不能准确的预测将来状况时，项目管理人员不能被动地等待风险的发生，而是应决定如何规避风险。对于觉察到的每个风险，应建立科学明确的应对预案，保障项目顺利进行，降低失败发生的可能性，保障数据迁移工作顺利进行，确保营销管理系统顺利上线。

采用CMU/SEI的CRM风险管理模型进行数据迁移全过程的风险管控。CMU/SEI建立的CRM模型基于全局观点、共同目标、综合管理等原则，要求在整个软件项目周期的没个阶段持续地进行风险管理，并且强调在实践活动中开放性沟通和协调工作的重要性0。该风险管理过程包括5个内容：风险识别、风险分析、风险计划、风险跟踪和风险控制，这五个过程形成了一个循环的环，具体结构如下图所示。

图4：CMU/SEI的CRM风险管理模型

对数据迁移工作开展前对迁移过程中可能存在的风险进行识别和制定措施，在整个数据迁移过程中采取事前预防、事中控制、事后纠错的风险管理方针，通过加强沟通、协调，强调计划和控制来合理的避让风险。可能存在的主要风险和应对措施主要如下：

单轨切割时数据不同步

风险描述：电力行业的营销管理系统与电信、银行的相类似，服务客户数量大，旧系统切换为新系统的时间短、要求高，存在系统切换数据不同步的风险。

应对措施：

①提前做好旧系统与新系统切换方案和系统切换应急方案；

②提前规划好当月工单截止时间，能完成并终止的工单按时截止；

③提前规划好划账时间点，切割前确保银行数据全部返回并对账完成；

④对于网上或第三方缴费渠道数据，做好详细的第三方收费记录，后续通过手工和其它方式处理。

关键数据缺失

风险描述：各厂商系统结构不一样，存在关键数据缺失风险。

应对措施：

①加快数据基础表首次切割速度，提前收集缺失数据信息；

②列举关键缺失数据清单，由业务部门制定数据处理方案，采用初始化或区局现场复核方式完善数据。

数据迁移延期

风险描述：旧系统数据模型与新系统数据模型存在不一致，切换数据量大，存在数据迁移工作延期的风险。

应对措施：

①应提前制定中间库数据结构，完成迁出迁入工具的开发、测试和校验工作，并要求数据清理人员保证数据清理质量，共同完成数据清理、迁移工作。

②海南电网公司营销数据量庞大，业务部门必须配合并确定具体的数据时间节点及历史数据保留方式。

5应用效果

营销管理系统是“6+1”信息系统中最为复杂的系统之一，海南电网公司在一体化营销管理系统推广应用过程中，将数据迁移作为重点工作，专门成立了数据迁移小组，小组采用上述数据迁移方法和策略，运用了各种组织和技术措施，攻克了多个数据迁移难点，高质量的完成了营销业务的数据迁移工作，为一体化营销管理系统的推广应用打下了坚固的基础，也为其它项目的数据迁移提供了可借鉴的经验。经过数月高标准、高质量的数据迁移工作，营销管理系统于2016年1月1日完成了单轨切换，实现了省级集中部署下的营销管理系统全局覆盖，营销服务业务从此迈入客户全方位服务的新常态。

6结束语

无论是系统升级还是新建一个系统，数据是否完整、是否准确、是否一致决定着一个系统建设的成败。营销管理系统建设是一项系统性工程，数据是它的核心，数据的准确性更是重中之重。要保障系统的运行顺畅，前提必须高质量的完成数据迁移工作。

文章从营销管理系统省级集中部署的实际情况出发，提出了数据迁移策略与方法，利用该数据迁移方法顺利的完成了海南电网公司营销管理系统推广应用的数据迁移工作，为新系统的上线提供了坚实的基础。

最后，文章介绍了海南电网公司数据迁移过程中所采用的CRM风险管理模型，并指出了数据迁移过程中可能遇到主要风险和应对措施，将数据迁移过程中的不确定性和变化所产生的风险控制在可接受范围内，防患于未然，有效地做到了风险预控。

参考文献

[1]吴淑玮，闫训超，曹齐.企业级信息系统数据迁移[J].南京:国网电力科学研究院,2013.

[2]贺生斌，丁盛，丁志刚.“SG186”营销业务应用数据迁移策略与方法[J].宁夏:宁夏电力公司吴忠供电局,2010.

[3]A.J.Charette.Softwareengineeringriskanalysisandmanagement[M].NewYork:IntertextPublications,1989.