作者zhjl520·2020-10-16 10:33

网络管理员·江苏省农村信用社联合社

江苏农信SDN技术应用在云平台架构设计实践经验

字数 4817阅读 6466评论 2赞 9

# 背景

江苏农信响应银监会 “ 十三五 ” 规划指导意见要求，期望通过私有云 + 行业云的金融云建设，搭建既满足自用又行业共享的云平台，帮助减轻农商行在基础 IT 环境维护方面的压力，借助省会的人才科技等优势，高质高效地开展资源池的维护统一的云服务，使各地农商行的科技部门能将更多精力投入到行内业务部门的支持和当地的办公运营设备的维护管理上，达到整合资源，降本增效的目的。

为了更好地满足云业务的 快速化部署，资源集中管理的需求。 我们拟依托互联网金融平台和全省门户网站上收两个项目来建设省联社的 互联网 云平台 SDN 网络 ， 探索 SDN 技术在省联社云平台中的应用发展。

# 需求分析

互联网金融和网站上收两个项目都要与互联网连接。需要符合监管机构的规范和要求。

人行规范： 《网上银行系统信息安全通用规范》（ JR/T 0068—2012 ）。在网上银行系统的描述中，应根据应用系统、客户对象、数据敏感程度等划分安全域。（ 5.4 节）

外部区域：网上银行的用户，利用网上银行客户端，通过互联网、移动通信网络、其他开放性公众或专用网络访问网上银行业务系统；

安全区域一：网上银行访问子网，主要提供客户的 Web 访问；

安全区域二：网上银行业务系统，主要进行网上银行的业务处理；

银行内部系统：银行处理系统，主要进行银行内部的数据处理。

银监会：商业银行信息科技风险现场检查手册

应在网络边界对公共网络出口、与第三方机构网络联接出口、 DMZ 区域部署防火墙等访问控制设备，启用访问控制功能；应合理配置防火墙等网络安全设备，根据实际业务需求，制定合理的安全策略；应对不同逻辑安全域之间的互相访问进行有效控制，合理配置访问控制列表（ ACL ）。

根据文件要求与总体规划，本次云平台 SDN 建设需满足以下要求：

1 、满足监管机构的区域隔离要求，进行多区域划分；

2 、提供高性能的网络环境，满足万兆高速传输需求；

3 、配置支持 SDN 技术的网络设备，满足未来业务扩展需求；

4 、新增设备要支持虚拟化，通过逻辑隔离，复用设备，减少设备投入；

5 、尽可能利旧现有的网络设备。

# 技术路线

传统的网络规划设计依据高可靠思路，形成了冗余复杂的网状网结构，结构化网状网的物理拓扑在保持高可靠、故障容错、提升性能上有着极好的优势，是通用设计规则。云平台的大规模运营，给传统网络架构和传统应用部署都带来了挑战，新一代网络支撑这种巨型的计算服务，不论是技术革新还是架构变化，都需要服务于云计算的核心要求，动态、弹性、灵活，并实现网络部署的简捷化。

具体来说传统网络面临的挑战主要有以下三点：

1 、传统网络的复杂性在实际的运维中，管理人员承担了极其繁冗的工作量；

2 、云平台下多虚拟机部署在同一台物理服务器上运行，服务器端口流量大幅提升，对网络性能提出更高要求；

3 、云平台中，虚拟机在物理服务器之间进行迁移，为了避免虚拟机迁移后路由的震荡和修改网络规划，迁移只在在二层域进行，因此云平台需要具备一个性能更高、二层域更大的网络环境为迁移提供保障。

通过分析云计算对传统网络基础架构带来的挑战，我们可以从两个方面来应对。一是通过构建高性能、高可靠的网络，从而满足云计算给网络带来的压力；二是通过构建虚拟化网络来满足云计算中由于虚拟机部署、迁移、以及安全策略实施对网络提出的灵活性、安全性的要求。

为满足云计算的业务要求，统一的基础网络要素必然包括：高性能交换、虚拟化应用、透明化交换。

# 方案设计

**1、业务现状**

按照功能类型省联社对外的互联网业务系统可以分为两类：

Ø  网银交易类，包含网上银行、手机银行、微信银行，这类业务是通过互联网交互完成银行各类账户交易。

Ø  信息服务类，包含省联社网站访问，法院、税务局各类外联单位的信息交互，不牵涉账户类交易。

网银交易类业务系统目前已经比较完善，而且参照各监管部门要求，定期评估。但是信息服务类由于原建设单位分散，缺乏统一规划。因此亟需重新规划互联网信息服务区，部署非交易类互联网业务系统以实现统一管理，减少运行风险。

**2、 网络架构分析**

![](/home/attachment/202010/16/301729_160281577222933.png)

**网络架构按照逻辑划分可分为：**

外部区域：运营商互联网网线路接入区域，用于外部接入及部署相关安全防护设备； Web 区域：对互联网提供服务部署区域； App 区域：内部服务区域；核心区域：数据中心内部网络区域。

**3、建设思路**

- 满足人行、银监等各类监管部门的规范。互联网金融和网站上收，都属于互联网业务，网络安全域的划分一定要合规。 WEB 区和 APP 区之间用防火墙隔离， APP 区与核心区之间用防火墙隔离。

- 现有网银架构和互联网信息服务区架构相似，都分为 WEB 服务区， APP/DB 服务区，核心服务区，可以考虑逻辑隔离技术复用相关设备。

- 应用 SDN 的大二层技术，减少交换机之间生成树协议开销，提升数据转发效率。

- 鉴于 SDN 自动化配置复杂，且首次使用 SDN 技术，为了后期运维和故障排除，网络设备配置还是基于传统模式配置，暂未采用与服务器自动化联动配置。

**4、 spine-leaf 架构设计**

![](/home/attachment/202010/16/301729_160281589656495.png)

叶脊架构将网络从传统三层扁平化为二层。传统的三层结构有提供用户接入网络的接入层，以及将数据进行汇总的汇聚层和进行大部分的数据梳理的核心层。而在叶脊拓扑中只有两层架构，需要部署更少的交换机，这可以减少部署和维护的费用。

在叶脊架构中，每一个叶交换机都和另一个叶交换机之间都只是隔了一跳，这减少了设备寻找或者等待连接的需求，结果是减少了延迟以及瓶颈。

叶交换机和核心层有多条链路，这加强了系统的冗余性和弹性。而在传统的网络中，由于生成树协议，从交换机到核心只有一条链路。有了叶交换机，可以创造大型的、非环路的矩阵，而不存在单线路连接。

**5、 网络虚拟化设计**

为满足不同分区的安全隔离要求，本方案在云平台的汇聚层部署有汇聚交换机、防火墙、负载均衡器等设备。传统网络下，将为不同分区单独配置一套安全设备及负载均衡设备，设备利用率低，运维管理复杂。在云计算平台下，通过网络虚拟化技术，统一建设一套性能强大、可扩展性良好的网络设备，为不同分区提供安全、应用加速等服务。

# 实施效果

不同于公共云中各个租户互不相识，无互访需求。省联社行业专有云用户各法人农商行存在互相访问需求，同时还有部分业务是全省多家农商集中使用，若直接按租户划分则会让流量跨区绕行在返回，浪费整体资源，且增加途径节点，影响网络传输市场。

我们将划分两个总体租户，网银 / 互联网金融租户和互联网信息服务租户。互联网信息服务租户中各法人农商行用户我们使用 EPG 进行划分。各家法人逻辑独立运行，如单法人发生网络异常或安全问题，只对该法人农商行有影响，不影响其他农商行。对于互访需求，以合约进行对应开放，明确东西向的流量。最终，以这样的方式成功搭建云平台 SDN 网络。

# 实施经验

**1 、 SDN 组网**
在传统的网络交换设备中，控制平面和转发平面是紧密耦合的，被集成到单独的设备盒子中。各个设备的的控制平面被分布到网络的各个节点上，很难对全网的网络情况进行总体把控。 SDN 网络一个优势就是把每台单独网络设备中的控制平面从物理硬件中抽离出来，交给虚拟化的网络层处理，整个虚拟化的网络层加载在物理网络上，屏蔽底层物理转发设备的差异，在虚拟空间内重建整个网络。整体以 spine+leaf+APIC 这样构建模式，初始化配置 APCI 控制器后，自动发现并组建 Fabric 网络，整体简化了网络的部署工作，通过 APIC 控制器集中统一软件升级配置，将物理网络资源整合成网络资源池，如同服务器虚拟化技术把服务器资源转化为计算能力池一样。从网络整体上看，它使得网络资源的调用更加灵活，能更好的满足云平台业务对网络资源所提需求。

**2 、配置管理**
在现有的 SDN 网络中，通过使用分布式网关模式将网关部署在各个 Leaf 节点上。有新设备加入网络，无论处于任何区域，都可以准确的按需进入相对应逻辑位置。

SDN 网络配置及管理全部采用图形化形式，根据业务逻辑图形化配置租户、 BD 和 EPG ，图形化配置底层物理口信息，再关联到对应的 EPG 。图形配置给予使用者更直观的感受，逻辑更清晰。

但是，图形化配置相对繁琐、配置逻辑相对复杂，保存提交频繁，在应用需求多的情况下图形化配置工作量大，没有命令行配置高效， SDN 控制器可以在图形化配置的基础上增加命令行配置功能。

**3 、排障维护**
spine 和 leaf 设备基本通过 APIC 控制器进行图形化的管理，但是在 APIC 控制器管理的环境下， Fabric 网络较为封闭，无法在 spine 和 leaf 设备查询配置信息，只能简单进行路由查询、 arp 和 ping 等操作，并且维护命令较复杂，例如 ping 一个地址，  操作如下： iping -V jr-web:jr-web-vrf x.x.x.x -S y.y.y.y 。如果 Fabric 网络出现异常，若只通过图形化维护，快速分析定位故障比较困难。

# 未来规划

SDN 在网络发展中处于起步阶段，我们也处于探索 SDN 技术用于银行数据中心的初级阶段。通过 SDN 实施，浅谈网络未来的两种发展方向。

一是利用 SDN 控制器，如省联社 SDN 控制器有提供了其他厂商的管理工具可供使用，可通过服务链（ Service Chain ）功能进行其他设备的配置推送。未来整个网络的配置都可以通过 SDN 控制器进行统一控制。现行业专有云 SDN 平台可通过 Networking 与运管平台联动，只需要选择对应业务网段虚拟网卡就可以进行业务上线。可实现云平台快速上线扩容，应对业务扩容需求。

这样的优点无需通过繁琐的命令行进行配置。即使对其他设备命令不熟悉的工程师也可以进行配置。缺点却是过度依赖该厂家的控制器，通过该控制器统一组网，对各节点管控较弱。

二是自建自动化运维平台， ACI 提供丰富的 API 接口供第三方软件调用，建立一个自动化运维平台通过 API 接口进行 ACI 配置的推送、查看设备的运行状态流量追踪等。可以完全掌握整个 SDN 网络的运行状况，准确及时地判断。除此之外通过自动化运维平台对接整体组网中的防火墙，负载均衡、域名解析等其他网络设备，可对网络流量的全流程追踪监控。

随着银行数据中心运维深入的后期可与云平台服务器联动监控，让业务处理总体流程明确，而不是割裂的去看网络、服务器、数据库等各点的监控。第三方运维平台还可将各个点运维数据保存，挖掘网络性能变化趋势，可形成网络健康基线范围，对网络状况进行前瞻性预测，可预防一些网络故障风险的发生。这种方式缺点是需投入资金、人力等资源自建运维平台，并需要保持该平台与多品牌设备的联动。

江苏农信云平台除了自用，还需对农商行提供服务。不论是自用还是他用都需要对网络整体管理更深入。更深入的管理，不能仅仅管理 SDN 网络，而是针对全网的统一管理。江苏农信选择自建网络自动化运维平台，进行 SDN 网络及相关网络设备进行统一监控配置管理。实现网络全流程追溯，后期与云管平台联动实现云平台业务全流程监控管理。

SDN 网络架构设计网络云平台

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论2 条评论

weiwei000111网络工程师某支付公司
2021-02-17 23:07

看着不错

r00tadmin系统运维工程师贵州金控
2020-10-26 08:51

略微看起来像思科的aci的sdn。

Ctrl+Enter 发表

匿名评论

江苏农信SDN技术应用在云平台架构设计实践经验

添加新评论2 条评论

作者其他文章

相关文章

相关问题

相关资料