在企业做数据中心的公司(EDC)中数据通信网络的设计不是简单的逻辑结构的画图画框,而是需要从机房建设标准到业务应用模型来综合考虑本文以一个案例来说明,采用TIA-942标准建设企业做数据中心的公司机房时如何设计网络的结构模型和,机房的设备与网络部署
某企业的做数据中心的公司机房采用叻TIA-942的综合布线标准,有如下需求:
TIA-942标准即《做数据中心的公司电信基础设施标准》,是经美国电信产业协会(TIA)、TIA技术工程委员会(TR42)和美國国家标准学会(ANSI)批准的
该标准是为设计和安装做数据中心的公司或机房提供要求和指导方针。通过各专业设计成果的贯穿使做数據中心的公司设计在建设过程早期就被考虑到,促进设计和建设阶段的衔接做数据中心的公司能够从预先计划的、支持计算机系统升级囷改变的基础设施中受益。TIA-942标准特别提出了当前建立在做数据中心的公司环境内各种各样的电缆系统配置中,每一个元件的接入和连接的基礎设施布局
l 服务器千兆双网卡接入(不考虑管理网卡问题);
l 服务器接入交换机通过万兆上联到汇聚层交换机;
l 存储网络有单独的机柜,本文先不考虑存储布线
如图1所示,从逻辑结构层次来看所有的业务应用可分为WEB、AP和DB三个逻辑访问区,每个区域都有对应的接入层、彙聚层和核心层每层次对应使用的设备为H3C的S7510E、S9512E和S12508。这样设计将原来纯粹按某种应用来划分的“糖葫芦串”结构变成扁平化的组网将应鼡按业务的访问模型来分,可以更好满足业务的访问需求便于将来做数据中心的公司机房结构的扩展。
接入层的12台S7510E作为各业务区服务器嘚接入每台S7510E配置8块48GE单板,可接入服务器48×8=384台符合服务器接入数量的要求。每台S7510E通过4×10GE捆绑链路上行到汇聚层收敛比为9.6:1。每台S7510E配置2块8×10GE单板
汇聚层的S9512E部署FW插卡,并设置相应的安全策略考虑到WEB区服务器的应用特点,还需要具备负载分担功能所以在WEB区的汇聚S9512E上增加LB(Load-Balance)插卡。6台S9512E每台配5块4×10GE单板,1块FW插卡(其中WEB 区的2台S9512E需要各增加1块LB插卡)每台S9512E通过2×10GE捆绑上行到两台核心S12508,通过8×10GE捆绑与汇聚层同一区域另一台S9512E交换机互联通过4×10GE捆绑与接入层的一台S7510E互联。
核心层的S12508是整个做数据中心的公司的核心作为各层次之间的业务交换,WEB-AP-DB各区域嘚业务访问都需要经过S125082台S12508,每台配置2块8×10GE单板通过6×10GE捆绑与核心层另一台S12508互联,通过2×10GE捆绑与汇聚层的一台S9512E互联
注:从图1中客户端區到做数据中心的公司的访问有专用的FW处理,保证整个做数据中心的公司的对外安全而做数据中心的公司汇聚层的FW主要作为业务应用之間相互访问的安全控制点。
为进一步优化网络结构减少维护和管理的风险,各层级设备采用IRF2堆叠技术使两台物理的网络设备虚拟成逻輯上的一台设备使用。堆叠后的网络结构如图2:
图2 IRF2堆叠后的逻辑拓扑
两台物理的网络设备经IRF2堆叠后缩减为一台逻辑设备可以减少大量的環路,不再需要使用类似于STP的协议来避免环路增加了运行和维护的方便性,同时也加强了网络的健壮性只需通过必要的冗余设计避免堆叠的分裂,即使在某种极端情况下堆叠分裂了也有保护机制来避免产生环路。
IRF2堆叠有两种模式图3所示的模式叫Active/Active,即双活模式即在接入层、汇聚层和核心层均使用IRF2堆叠技术后,把部分Server的主用连接或网关放置在一台交换机上另一部分Server的主用连接或网关放置在另一台交換机上(在各层次中IRF2都使用了两台堆叠)。使得所有的设备在转发部分数据的同时也作为另一部分的备份。这样做的优点是设备的利用率较高但缺点也很明显,管理和维护上不清晰实际上业务的流量走向是相对无序的。
这种模式叫Active/Standby即主备模式。在接入层、汇聚层和核心层分别使用IRF2堆叠后所有的Server,不管是接入、汇聚还是核心,均主用在同一侧的交换机上即每个层次只有一台交换机在工作,堆叠Φ的另一台完全作为热备份这种方式下的优点是流量模型清晰,维护管理方便缺点只是设备的利用率有所降低而已,但是单台设备的性能完全足够
从网络安全和业务访问应用的角度分析,实际部署时因业务的重要性不同(如图5所示业务分为高级别、中等级别和低级別),可将服务器的网关设置在不同的设备上从业务访问的模式来看,可分为纵向访问和横向访问其中纵向访问是指同一种应用在不哃区的访问(如同一种低级别应用L1的WEB-AP-DB访问),横向访问是指同一级别中不同应用之间的访问(例如低级别L1访问低级别L2)一般地,不同级別之间不允许访问
根据上述基本原则,我们可充分利用交换机和防火墙上的功能来实现访问的需求具体做法如下:
l 低级别应用服务器:网关设置在汇聚交换机S9512E上,纵向和横向访问通过交换机ACL来控制;
l 中级别应用服务器:网关设置在汇聚交换机S9512E上纵向访问通过防火墙控淛,横向访问通过交换机ACL控制;
l 高级别应用服务器:网关设置在汇聚交换机S9512E上纵向访问和横向访问均需要通过防火墙控制。
因为三种级別业务服务器的网关均在S9512E交换机上所以可通过MCE(Multi CE)功能,针对这三种业务虚拟化通过绑定VPN实例实现各级别业务在交换机上的天然隔离,可以减少ACL的配置和资源消耗
从网络的逻辑结构来看,接入层的S7510E作为二层交换和接入设备接入大量服务器,并负责服务器之间的二层茭换汇聚层的S9512E属于二层和三层混合的设备,既作为对服务器的二层接入也作为三层设备与FW互通,并与核心层S12508作跨区域(WEB-AP-DB)业务的路由轉发S12508作为核心层的路由设备,负责跨区域业务的转发、对客户端的响应和业务的请求与发送
由于WEB应用的特点,WEB服务器一般通过集群方式工作所以在WEB区需要增加负载均衡LB设备,所有从客户端发来的WEB应用请求均需通过LB处理后再到达WEB服务器
我们以WEB区的LB和FW插卡为例来说明安铨设备的HA部署方法,如图6:
从业务流程来说Web-Server的网关设置在汇聚层交换机S9512E上,而FW与S9512E之间为三层路由连接可以设计运行静态路由,同理LB與S9512E之间也为三层路由连接,也设计运行静态路由这样设计便于对路由进行较好的控制。当汇聚层交换机使用IRF2技术堆叠后相当于一台逻輯交换机,通过接入两块FW和LB插卡实际就是FW和LB在做HA,所以运用的主要技术原理是转发的热备份和状态的热备份两块FW插卡和LB插卡的面板上汾别取对应的接口通过物理连接实现状态的备份,而插卡与交换机的背板接口用于转发的备份通过VRRP来实现。
对LB和FW单板来说实现的方法楿同,都是利用与S9512E之间的静态路由实现HA即在S9512E上把访问LB或FW的业务网段路由下一跳指向VRRP虚地址,实现业务的互访LB和FW的状态HA由面板上的接口來完成,简单而灵活的实现了HA的需求当某一块插卡出现故障时,通过HA可直接倒换在最极端的情况下,当插卡均出现故障时因为所有Server嘚网关都设置在S9512E交换机上,插卡全部拔掉后通过正常的路由转发仍然能实现业务的访问(只不过安全性差了些),所以进一步增加了冗餘性实现了做数据中心的公司的高可靠性。
如上所述在这个做数据中心的公司里有交换机20台(安全设备为插卡结构不占用物理空间),服务器1000台左右每台服务器的功率是450W,每机柜最大提供5.5KW功率保守计算每机柜可以承载12台服务器。
在机房设计中为了布线方便(双绞線不超过100米,光纤不超过300米)通常会采用“机柜组”的方式(每个机柜组包含若干个服务器机柜和网络机柜)。布局方式如图7所示:
图7機房机柜设置示意图
根据描述的需求规模该做数据中心的公司需要6个“机柜组”,每个“机柜组”包含32个服务器机柜和4个网络机柜(只使用2个每个机柜只放置1台S7510E,另外两个机柜实际为存储的FC交换机)服务器机柜相当于设备配线区EDA(Equipment
图8 机房机柜设置示意图
图9 EDA布局示意图
圖10中的布局方式其实是Middle Of Row,两边机柜的电缆都向中间集中这种布局比EOR更容易布线,避免了最远端电缆到这列头部机柜的网线超出规定距离
企业做数据中心的公司的建设,是一个庞大而系统的工程在做网络和安全设计时主要是以业务的访问流程和安全级别的要求两方面来莋考虑和评估的指标。相应的服务器的连接方式以及机房的环境设计与大型IDC和互联网的搜索引擎模式有明显的不同,不能完全照搬要學会“拿来主义”,同时充分考虑安全性和可靠性才能真正达到业务应用的“5个9”指标。