作者light_hu86·2021-12-21 17:59

系统工程师·某省金融

银行互联网类业务基于分布式存储的架构设计与实施运维分享

字数 7130阅读 7870评论 10赞 6

# 文章摘要：
本文以金融企业为背景，在面对分布式技术迅猛发展的今天，乃至在未来的数年内，为应对业务的快速发展、数据的成倍增长、系统的稳定运行；为确保数据的完整无损、读写高效、冗余安全，同时考虑到传统存储架构目前存在的一定问题和部分业务场景的短板，以分布式存储的特点、架构和相关技术为切入点，就金融企业的分布式存储前期的规划、建设部署、后续的场景应用等方面进行简要的说明，也在建设实践的过程中就分布式存储存在的问题及相关技术的优化进行一定的阐述。同时在云化所趋的浪潮中，分布式存储将会为金融企业业务的发展和进步抹上一抹浓重的色彩。

# 1.  项目概要
## 1.1 项目背景
随着互联网技术的发展，AI、区块链、云计算、大数据等技术方兴未艾；特别是分布式技术的突飞猛进，X86架构已经逐渐成为趋势与主流。以国有大行为代表的金融企业开始逐渐采用虚拟化与云计算技术进行分布式改造来重构IT系统，提升IT系统的资源利用率。

而传统的小机加传统存储的架构，虽然在未来的一定时间内还会继续存在，但颓势已不可避免。传统的传统存储由于稳定和可靠一度是金融企业重要业务数据库数据存储的首选，然而随着传统业务数据量的快速增长及互联网业务的快速发展，海量数据高并发高访问需求的背景趋势下，传统的传统存储在分布式改造的过程中面临了诸多的问题：
1、存储的可靠性问题：传统存储一般集中部署在一个或几个整柜中，大规模集群面临着跨机房、跨机柜容忍的故障域，磁盘重建时间长等问题。
2、存储的扩展性问题：传统存储设备类型比较丰富，通过外部IP/FC网络互连，具备一定的扩展性，但受控制器能力限制及光交端口限制等因素，导致其扩展能力有限。
3、存储的成本投入问题：传统存储需采购单独的存储产品及光交产品，部署独立的存储网络，建设投入成本较高、实施比较复杂。
4、存储的异构问题：传统存储为确保管理和维护的便利及跨机房数据灾备同步的需要，偏向于采购同型号的存储产品，消除异构存储带来的不确定隐患。
5、存储数据迁移问题：当传统存储设备到一定的使用周期后，需要更换存储时，需要对原有存储进行整体数据迁移，整个迁移过程耗时耗力。

针对传统存储上述问题，基于现有互联网类业务快速发展的背景下，如何承载该类业务的数据量，支撑该类业务的访问量，保障该类业务的增长量是金融企业必须要思考和解决的问题。因此我们将视线转移至分布式存储上面，而基于X86平台的分布式存储系统由于其高可靠性、高扩展性、高可用性及高安全性等特性，可以更好地提供高速、可靠及稳定的存储服务。

## 1.2 建设原则与目标
分布式存储往往采用分布式的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息。它不但提高了系统的可靠性、可用性和存取效率，还易于扩展，将通用硬件引入的不稳定因素降到最低。而基于金融企业背景的分布式存储项目建设原则如下：
1.  高可靠性：分布式存储需具备较高的可靠性保障，确保业务的稳定运行和数据的完整性保证。
2.  高性能：分布式存储能够有效的实现和管理读写缓存，能够自行分级存储，可以将热点区域内数据映射到高速存储中，来提高系统响应速度和存储性能。
3.  高扩展性：基于标准硬件和分布式架构进行搭建和部署，要求可支持上千节点及EB级存储容量级别的扩展。
4.  通用性：分布式存储需提供方便易用的界面，拥有完整的监控和管理工具，且可以轻松地与其他系统集成。
5.  标准化：分布式存储需具备行业标准化的存储接口类型和对接方式。
6.  安全性：分布式存储需具备一定的存储加密技术确保存储的数据安全。
7.  灾备和备份能力：分布式存储需具备跨机房或跨数据中心级别的灾备数据同步能力，以及存储内数据的备份能力，以便实现数据的灾难快速定位及恢复，同时为分布式存储的高可靠性提供了保障。

# 2.  架构设计
## 2.1    需求分析
分布式存储的建设，不仅仅是简单的替代传统存储，而是在当前金融企业面临着新的场景、新的业务需求、新的数据规模等因素综合考虑，更是随着分布式存储技术的成熟和进步，建立分布式存储的意义是与传统存储的优势互补，劣势互避，更好地为金融企业服务。因此建设分布式存储基于高性能、高可靠、高扩展和易管理等特性为出发点，依托以上分布式存储建设的原则和目标，力争建设完成一个性能高效、稳定可靠、无限扩展及管理便利等满足业务各项需求的分布式存储平台，以满足金融企业当前乃至未来数年内业务发展的各项存储需求，同时具备跨数据中心存储数据同步的能力，以实现数据的跨数据中心保留和备份。

## 2.2    架构设计
分布式存储大体架构如图1所示，最右侧对其按逻辑分区抽象地分为节点池、硬盘池、资源池、存储服务层和接入层5个部分，其中节点池为底层的分布式服务器设备；硬盘池是对节点池的存储硬盘进行抽象，对市面上硬盘产品进行相应的归类，大致列了SATA盘、SAS盘、SSD盘和NVMe SSD盘这4种类型的硬盘存储；其上对由硬盘存储组成的服务类型归为块存储、NAS存储（即文件存储）和对象存储3种存储资源池类型；而存储服务层则罗列了分布式存储本身具备的一些能力和特性，如多副本、纠删码、快照、克隆、远程复制、Qos、访问控制及故障域等；接入层则表示分布式存储具备的标准化接口能力，如iSCSI、NFS、CIFFS、S3等业内标准的接口。

左侧的管理平台则提供易管理、易操作的标准化界面，实现一体化的运维、管理和维护，同时也提供状态监控、性能监控及故障的告警显示等。
![](/home/attachment/202112/21/1210563_164007905492779.png)
图1 分布式存储架构图

## 2.3   存储部署方式
分布式存储根据服务器设备数量及业务场景的不同，部署的方式可分为超融合架构（存算一体）和分离式架构（存算分离）这2种部署方式。其中超融合架构是将计算和存储节点都部署在同台服务器上，共用服务器资源及网络资源，适用于小型的虚拟化环境，如VMware的vSAN分布式存储产品就是基于超融合架构部署的；而分离式架构是将计算和存储节点部署在不同的服务器上，各自独立占用设备的计算资源和网络资源，适用于数量规模比较大的业务场景，特别是云化类的场景。超融合架构和分离式架构的相关特性的比较如下：
![](/home/attachment/202112/21/1210563_164007909526891.png)

随着业务的不断发展，云化的步伐也在不断地深入和推进，设备数量的规模也在不断增长，因此分离式部署所占的比例也会越来越大。

## 2.4    网络组网方式
分布式存储分离式架构的网络组网如图2所示，其中存储节点存储内网流量较大且可能有较高的突发，需独立组网，带宽建议万兆，双链路冗余；存储节点业务网络需独立组网，带宽万兆，建议双链路冗余。
![](/home/attachment/202112/21/1210563_164007912549490.png)
分布式存储超融合式架构的网络组网如图3所示：
![](/home/attachment/202112/21/1210563_164007915195967.png)

而分布式存储的分离式架构的存储节点设备和超融合架构的节点设备详细的组网规划基本一致，如图4所示：
![](/home/attachment/202112/21/1210563_164007917723012.png)

## 2.5    存储冗余策略
分布式存储的存储冗余策略有多副本和纠删码两种形式，两种形式相应的特性如下表所示：
![](/home/attachment/202112/21/1210563_164007920593643.png)
其中多副本的副本数一般为2副本或3副本，使用较多的是3副本格式，而纠删码策略较多，相对应的最低节点数和空间利用率如下表所示，使用的较多的为4+2策略格式。
![](/home/attachment/202112/21/1210563_164007922581007.png)
而根据存储冗余策略的格式对分布式存储的可用容量进行相应的估算如下图5所示，例如：100块2T的数据盘，200TB标称容量，采用3副本的格式，可用容量为：200*0.92*0.85*33.3%≈52.08TB；而采用4+2的纠删码格式，可用容量为：200*0.92*0.85*66.7%≈104.32TB。从可用容量上来看2者相差一倍，如果追求较高存储性能方面考虑采用副本格式，而对于性能要求不是很高，且对存储可用容量比较在乎的话考虑采用纠删码格式。
![](/home/attachment/202112/21/1210563_164008002678187.png)
而根据不同的服务等级和不同的适用场景，可以大致区分和归纳相应的时延和性能密度，大致分为下表所列的4大类。
![](/home/attachment/202112/21/1210563_164008005216037.png)

## 2.6    存储QoS策略
分布式存储QoS策略支持带宽限制和IOPS限制等用户指定卷配置限流策略，当用户下发的I/O请求将进入对应的卷IO队列排队等待，依次获取IO令牌，存储系统为卷队列中的I/O请求分配令牌，当I/O请求持有足够的令牌时，存储系统将I/O请求出队并继续数据读写处理。
![](/home/attachment/202112/21/1210563_164008008185590.png)

## 2.7    分布式存储技术
当前分布式存储有多种实现技术，如Ceph、GFS、HDFS、Swift等。在实际工作中，为了更好地探索和研究分布式存储技术，我们对各种分布式存储技术的特点以及各种技术的适用场景进行详细的探究，几种主要的分布式存储特点对比如下表所示，其中市面上分布式存储产品Ceph技术架构使用较多。
![](/home/attachment/202112/21/1210563_164008036698482.png)

# 3.  建设效果
## 3.1    实施部署
以上对分布式存储的整体架构设计、部署方式及组网方式进行详细说明，下面就分布式存储的具体实施部署做简要的说明。

**3.1.1     服务器配置**
本次实施部署的服务器详细配置如下表所示，这里选择基于x86架构的英特尔®至强®可扩展处理器系列5218单核16C的CPU处理器及512G容量内存的设备。
![](/home/attachment/202112/21/1210563_164008041075381.png)

**3.1.2     资源规划**
针对上述服务器的数量，可以估算出交换机及耗材配件资源相应的数量。
![](/home/attachment/202112/21/1210563_164008044557968.png)

**3.1.3    节点IP地址规划**
分布式集群网络包括管理网络、业务网络和存储网络；这里以IPV4为例，其中存储网络分为存储前端网络、存储后端网络，推荐使用24位子网掩码；各网络之间不允许存在包含关系（如：192.168.21.1/16和192.168.55.1/24即存在包含关系）。用户网络包括用户管理网络、用户业务网络；其中，用户管理网络使用千兆交换机，管理集群各个节点与集群交换网络设备。节点地址规划信息如下表所示。
![](/home/attachment/202112/21/1210563_164008047219181.png)

**3.1.4     分布式存储部署**
基于以上的规划，下面就分布式存储的部署步骤做简单说明。具体的安装部署步骤如下图6所示：
![](/home/attachment/202112/21/1210563_164008051779199.png)

**3.1.5    存储运维**
就部署好的分布式存储，经过验证测试满足各项指标和性能要求后运行一段时间后移交运维。下面就分布式存储的运维方式做简要说明。
1、 权限分级：就分布式存储的用户权限进行分级，分为系统管理员、一般管理员和只读用户，其中系统管理员具备高级的管理权限，可对平台整体进行管理、变更和操作；一般管理员可对特定的用户下的存储进行相应的管理、变更和操作；只读用户只具备读取和查看权限，一般可以提供给巡检及监控使用。
2、 监控对接：就分布式存储平台的监控与金融企业行内统一的监控平台进行对接，通过SNMP或API接口进行相应的对接，确保平台的告警能及时推送至行内统一的监控平台，生成工单流程和短信告警等后续流程。
3、 容量监控：通过对分布式存储容量设定一个阈值，一般建议为70%-80%左右，当存储的使用容量达到这个阈值后根据之前制定的相应应急策略，如删除数据或扩容节点等方式确保平台存储容量的使用率低于该阈值。
4、 数据备份：对于金融企业重要生产业务的存储数据而言，数据的重要性不言而喻，因此基于监管机构相关的规章制度，需对存储的数据进行跨地域或中心进行备份，通过数据同步的方式实现数据的备份，防止数据中心的单点故障造成数据的损坏和丢失。

## 3.2    实施效果
通过以上分布式存储的规划设计和实施部署，顺利完成了分布式存储的搭建和部署工作。分布式存储实施的效果如图7所示：
![](/home/attachment/202112/21/1210563_164008056329873.png)

部署好的分布式存储可以提供给数据库类、服务器虚拟化类、桌面虚拟化类及云平台类等各类资源使用，以分布式架构的具备几乎无限扩展的存储化能力为业务的发展和创新提供存储保障和数据支撑。同时具备多点快照技术，对各个版本数据进行备份，支持同时提取多个时间点的样本，且能在同一时间恢复数据。可以有效地避免存储问题产生的数据损失，为金融企业带来可靠安心的数据安全保障。

## 3.3    优化措施
对分布式存储在性能的表现上部分金融企业有着诸多不同的考虑，因此基于性能的需求对分布式存储在性能上的优化方面做如下的考虑。
1、处理器计算能力，分布式存储采用标准的X86架构，采用英特尔®至强®可扩展处理器具备如图8所示的安全保障业务恢复能力和敏捷服务交付能力。
![](/home/attachment/202112/21/1210563_164008059897318.png)
2、内存处理能力，通过以英特尔 ® 傲腾™持久内存配合标准化内存，提升内存访问数据的上限和容量，从而更快地处理大量数据。即便在断电时，数据也能够保留在持久内存中，有助于保护存储数据，避免数据丢失。
3、存储读写能力，对于性能要求较高的业务来说，通过将分布式存储底层硬盘更换成全闪存阵列硬盘，优化存储硬盘的读写能力，提供更高的IO能力和读写性能，以更优质的存储能力更好地为业务服务。

## 3.4   存在问题
当然在分布式存储在建设的过程中也会遇到如下诸多问题。
1、 数据的一致性问题：考虑到分布式存储集群中有可能会存在部分机器设备同时发生故障，例如宕机、重启、关机等各种故障现象，存储数据可能存在丢失、陈旧、出错等问题。如何让分布式存储自身容纳这些问题，对外保证数据的正确性，需要相当复杂的设计。
2、 网络和通信故障问题。分布式存储网络存在着不可靠性，例如：消息可能丢失、早到、迟到、Hang住等故障现象，这给分布式存储设备间的协调带来了极大的复杂度。而TCP等网络基础协议虽能解决部分网络问题，但更多的是需要分布式存储自身系统层面自行处理。同时开放式网络上也可能存在消息伪造等安全性问题。
3、 管理复杂度问题。当分布式存储设备规模到达一定数量级时，如何对其进行有效监控、收集日志、负载均衡等都是极大的挑战。
4、 网络延迟问题。网络通信延迟比分布式存储设备内通信延迟要高出几个数量级，而组件越多、网络跳数越多，延迟则会更高，这些都会作用于分布式存储系统对外的服务质量上。

# 4.  项目总结
通过以智能化、统一化、规模化的思路建设和打造标准X86架构特别是基于英特尔核心架构的分布式存储，以多种先进算法优化存储读取效率，多种先进技术确保存储具备高性能、高可靠、高扩展和易管理等特性。同时具备自动化部署、开机引导、快速上线，配置管理简单，资源监控信息丰富直观，方便运维等易管理特性；具备自动化智能修复技术，硬件故障自动恢复，副本故障保障机制，故障域隔离保障机制等多种可靠性保障；具备存储设备标准化，灵活按需扩展性能线性增加，前期投入降低按需采购等低成本高扩展特性。存储的意义不仅仅是确保数据的可访问性和一致性，还需具备一定的性能优势，可以立足现在及未来的一段时间内，为金融企业业务的发展提供稳定可靠和高效优质的分布式存储能力。

当然在建设和使用的过程中也会遇到诸多的问题，但问题的存在并不能阻止分布式存储的推进和进步，相反根据存在的问题有效的分析给出相应的解决方法，进一步降低存储的运维和管理复杂度；同时加大分布式存储技术储备，以技术储备应对问题出现和技术发展。过去已去，现在已在，未来已来，在云化所趋的浪潮中，分布式存储也会为金融企业业务的发展和进步抹上一抹浓重的色彩。

至强傲腾分布式块存储分布式存储

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论10 条评论

maxwellyang

项目经理上海汉得甄领信息科技有限公司
2022-08-18 11:23

感谢分享不知道有没有下篇的性能展示或者测试

zzy3620

系统环境管理某城商行
2022-01-04 16:02

这篇文能把分布式存储的技术细节均解释的比较清楚，图文并茂，分布式存储技术选型的时候可以作为一个优秀的技术参考

御麟

其它某银行
2021-12-30 19:48

本人对分布式存储架构做了详实的介绍说明，架构图示意清晰易于理解，对主流的分布式存储部署模式、组网方式、存储策略做了详细对比分析，易于理解。文末对于分布式存储目前存在的一些短板问题分析的入木三分，可帮助运维人员结合具体使用场景进行预研、测试。

林明达

技术经理西安骊山汽车制造有限公司
2021-12-29 22:51

个人觉得“3.4 存在问题”中，在现有技术条件下，作者若能对所列问题进行优化，并提出解决方案那就更好了。

林明达

技术经理西安骊山汽车制造有限公司
2021-12-29 22:17

首先感谢作者的分享，作者从：1. 项目概要；2. 架构设计；3. 建设效果等三个方面阐述了“银行互联网类业务基于分布式存储的架构设计与实施运维”项目的实施建设，并对该项目进行了总结，图文并茂，为需要准备和正在实施类似项目的同行提供了不错方法和思路，点个赞。希望作者为大家分享更多的佳作。

daocaoren0352

技术城商行
2021-12-29 21:08

文章写得很好，使我学到很多关于分布式存储的技术知识，如架构、部署方式、组网方式等，图表清晰、分析精辟。有几点建议，不知道是否正确，仅供参考： 1、“2、存储的扩展性问题：传统存储设备类型比较丰富，通过外部IP/FC网络互连，具备一定的扩展性，但受控制器能力限制及光交端口限制等因素，导致其扩展能力有限。” 这一段中，FC模式扩展能力是受光交端口限制的，IP模式的扩展应该是没有问题的，但存在一定的延时和损耗，不适合用于响应速度快和实时性强的业务场景。 2、关于需求分析部分，基本上写出来的都是技术方面的需要，如性能、可靠性、可扩展性等，其实任何金融科技的应用都是为了满足业务的需要，至于是采用新型技术还是传统技术则是基于资金投入与业务的重要性的平衡考量而作出的选择，比如互联网支付业务要求实时性强、响应速度快，在特殊时点（双十一、双十二）业务量暴增的情况下还要求扩展性强，宜采用分布式等新技术；而如果是报送业务等实时性不强的系统则采用传统技术或者虚拟化技术即可。所以在需求分析中增加在线支付、实时转账等业务应用场景似乎能使内容更丰富一些。 3、“例如：100块2T的数据盘，200TB标称容量，采用3副本的格式，可用容量为：2000.920.8533.3%≈52.08TB；而采用4+2的纠删码格式，可用容量为：2000.920.8566.7%≈104.32TB。” 我不知道2000.920.8533.3%≈52.08TB是不是约定俗成的写法，但我觉得在各数之间写上运算符号要好理解一些。

sharkjam运维人员深圳市某公司
2021-12-29 17:55

全文图文清单都很详细，软硬件都有介绍，对我这种软件维护来说，结合硬件系统设计维护系统还是比较薄弱

15305419779zxy

主任山东大正公司
2021-12-29 15:01

本篇文章从存储的可靠性问题到解决的方案具体了提出可靠的思路，值得关注：一、存在的问题：存储的可靠性问题；存储的扩展性问题；存储的成本投入问题；存储的异构问题；存储数据迁移问题二、解决的措施（建设原则和目标）：高可靠性；高性能；高扩展性；通用性；安全性；灾备和备份能力等从思路、框架、方式、策略、技术等面面俱到！

笑笑

存储架构师华大基因
2021-12-27 11:23

【文章价值点】: 文章比较了传统存储和分布式存储的优劣，并给出了分布式存储的实施步骤【文章建议】：文章如果能增加分布式存储和传统存储的架构对比就更好了【文章内容疑问】：贵司最后采用的是哪种分布式存储，选择它的理由是？【文章内容概括】: 文章先提出了传统存储的5大问题： 1.可靠性 2.扩展性 3.成本投入 4.异构 5.数据迁移然后在对比了超融合架构和分离式架构后，作者采用了分离式架构的分布式存储以及介绍了在该司是如何落地的。【个人看法】作者充分对比了传统存储和分布式存储的优缺点，以及图文并茂的介绍了分布式存储的落地过程。

hutao技术总监stnc
2021-12-23 09:05

感谢分享

Ctrl+Enter 发表

匿名评论

银行互联网类业务基于分布式存储的架构设计与实施运维分享

添加新评论10 条评论

本文隶属于专栏

作者其他文章

相关文章

相关问题

相关资料