基于支撑网双活数据中心大二层网络架构的研究与实践

基于支撑网双活数据中心大二层网络架构的研究与实践

罗燕兰

福建省邮电规划设计院有限公司   福建省福州市   350001

摘要：

随着BOSS/CRM业务的快速发展以及虚拟化技术的成熟，服务器虚拟化、虚拟机动态迁移、数据库远程RAC等需求也随之诞生，相同业务的不同物理机/虚拟机在不同网络中的部署、迁移以及跨数据中心的数据库集群建设，都使得传统的网络架构已无法满足现有业务需求，新的大二层网络由此应运而生。本文对现有大二层网络的主要技术进行了分析，并结合现网及业务需求的实际情况，将优化后的方案部署到支撑网数据中心的网络中。

关键词：数据中心;网络;大二层;OTV;Overlay;

随着时代不断发展，新技术的不断革新，当前大数据、云计算、分布式集群已经成为运营商和诸多互联网公司建设IT的一个新趋势，而分布式、虚拟化技术在各应用系统中得到了广泛的应用，本文总结和分析了目前大二层网络涉及的技术和设计方案，并结合现网及业务需求的实际情况，将优化后的方案部署到支撑网数据中心的网络中。

1研究背景与思路

1.1 国家法律法规要求

《中华人民共和国网络安全法》要求应“对重要系统和数据库进行容灾备份”。《国家信息化领导小组关于加强信息安全保障工作的意见》指出“各基础信息网络和重要信息系统建设要充分考虑抗毁性与灾难恢复”。《中国人民银行关于加强银行数据集中安全工作的指导意见》指出“为保障银行业务的连续性，确保银行稳健运行，实施数据集中的银行必须建立相应的灾难备份中心”。

1.2业务连续性保障需要

随着省级数据中心建设的逐步深入，全省数据进一步集中，各业务系统对主中心数据处理的高可靠性和高可用性要求越来越高。为保障重要业务系统的连续稳定运行，需在主中心与转接中心之间构建大二层网络环境，充分利用转接中心网络及硬件资源，奠定业务“双活”通信基础，实现跨数据中心的应用系统容灾。

2 大二层网络与传统二层网络的不同点

2.1 传统二层网络的特点

经典的网络架构通常使用的是二层交换与三层路由的方式：二层网络交换根据业务需求将二层网络划分成不同的VLAN以及采用xSTP防止二层网络产生环路，可以有效防止二层网络广播风暴的范围；三层路由采取路由算法和TTL技术来防止三层广播风暴。

随着业务的不断扩展，数据中心需要增加新的接入设备，相应的网络架构也得改变和扩充：一是接入设备的不断增加会导致相同的VLAN的设备数量增加，增加了二层广播域，为了使得VLAN均衡就得不断划分出新的VLAN，这就与虚拟服务器管理的一致性形成了矛盾。二是在接入设备的不断扩展中也会逐步增加VLAN个数，而VLAN的上限是4096个，在不久的将来会出现瓶颈。三是随着接入网络设备的不断增加，xSTP性能是逐渐降低的，通常来说xSTP网络由几十台交换机构成。而且xSTP在防护的过程中会对网络带宽产生损耗，所以xSTP的规模不宜过大。

2.2 大二层网络的发展历史

传统二层网络在设备较少的时候能满足系统的运行需求，在接入设备不断增加的过程中，就带有局限性了。在新时代，虚拟化平台不断发展和应用，运行中的虚拟机从一台物理服务器动态迁移到另外一台物理服务器已经变得非常重要了。而虚拟机的动态迁移必须保证IP地址和MAC地址的稳定性，所以动态迁移只能在二层网络中实现，无法实现跨越二层网络动态迁移。而目前金融行业数据中心的两地三中心架构（三层网络），就无法实现虚拟机的动态迁移。这时候，大二层网络就应运而生，实现了三层网络的互联互通。

3大二层网络在支撑网中的应用

3.1方案采用的主要技术

3.1.1VDC(Virtual Device Context)

设备一虚多技术，能在一台物理设备上实现多个虚拟化设备的划分，并且实现控制、转发、环境的完全分离。每一个VDC是一个分离的故障域，之间不会相互影响。

3.1.2OTV(Overlay Transport Virtualization)

Cisco OTV是一项"MAC in IP"技术。通过使用MAC地址路由规则，它可以不需要建立和持续维持节点之间的点对点连接，只需要初始化完成MAC表构建过程后，在确保IP路由可达的情况下，即可完成大二层的通信。

3.2建设方案

3.2.1VDC的划分及互连

我们在每个数据中心的N7K交换机上，通过VDC技术，将一台物理N7K交换机虚拟出两台N7K交换机，分别是VDC-1和VDC-2。VDC-1作为传统网络业务接入的核心交换机，上行与汇聚路由器NE40互连走三层协议，下行与服务器互连走二层协议，与另一台N7K虚出的VDC-1通过TRUNK互联，两台VDC之间通过VRRP协议虚拟出服务器的业务网关。VDC-2作为OTV的Edge Device，OTV设备(VDC-2)采用旁挂部署，与VDC-1使用两个聚合口进行互连，其中聚合口AG4使用二层协议与VDC-1互连，透传需要进行大二层扩展的业务VLAN，另外聚合口AG5使用三层协议与VDC-1互连，实现三层路由转发。

3.2.2数据规划

(1)VDC数据规划

在大类相同但子类不相同的业务上(如计费系统、酬金系统、营业系统、CRM系统等都属于BOSS系统)，通过在相同的VDC上划分不同的VLAN进行子类业务划分，业务在进行跨中心网络迁移时，无需变更原有IP地址和修改相应的应用程序，只需要把所在接入设备的端口划入之前的同一个VLAN。打破了网络的迁移需要修改IP和修改其它关联业务相应配置的约束，实现了跨地域的动态迁移。在不同大类的业务上，如数据库远程RAC、存储双中心等基础平台业务。可以通过不同的VDC进行划分，与业务的VDC进行区分。防止在同一个VDC下因二层VLAN太多，因某个VLAN产生的广播风暴直接影响到该VDC设备上的性能，导致连带影响其他不同的大类业务。

(2)VRRP规划

在支撑网中由于每个数据中心的网络设备为了确保业务的稳定性和继续性，所有层面的节点均由主备两台以上的设备组成，当大二层网络跨越两个数据中心时，同一个业务VLAN网段则由4台设备组成。由4台设备通过VRRP虚拟出来的VIP网关，在Master状态发生变化时，则可能会发生数据中心之间流量横穿叠加的情况。

当Master状态从一个数据中心飘到另一个数据中心时，原属同一个数据中心的服务器虽然访问VIP不变，但数据流量先通过三层网络绕到另一个数据中心，再通过二层网络返回到原来的数据中心。这样两个数据中心之间会存在不必要的流量横穿叠加的情况，会占两个数据中心之间的带宽，造成带宽浪费。

(3)数据库远程RAC规划

数据库远程RAC这种技术的机制是通过在两个数据中心机房搭建一套逻辑上属于同一个数据库的RAC，两边可以同时运行业务。实现在两个数据中心之间的双活，并达到最高容灾等级。远程RAC方案网络总体架构需要SAN及IP网络，在两个数据中心间进行可靠的同IP段的内网通信。SAN网络通过增加设备和传输延伸来实现，IP网络通过VDC和OTV技术实现。

结束语

综上所述，通过在现有支撑网网络架构的基础上，利用OTV/VDC等技术的特性，结合现网中的业务需求和环境进行规划和部署，实现了支撑网异地双活数据中心的大二层网络。为服务器的虚拟化、动态迁移、数据库远程RAC等业务实现跨数据中心集群部署提供了网络解决方案。

参考文献

[1]李彬，陈雪莲，胡玲.大二层技术在电力数据中心网络的研究与应用探析[J].信息系统工程，2019(02):78,81.

[2]韩溥.数据中心大二层扁平化网络架构研究[J].中国新通信，2020(06):63.