随着信息化建设进程的加快,各单位在信息化建设方面取得了很大发展。目前,笔者所在单位在综合业务管理系统、日常办公、财务管理、人事管理、标准信息化、电子监察、档案管理、固定资产管理以及各科研生产管理等诸多方面全面使用信息系统。特别是近几年来,业务系统的信息化发展迅速,导致信息系统的数据量迅速增长,业务数据的重要程度日益增加,任何重要信息的丢失都将会给业务管理带来难以估计的损失和影响。因此,如何保证核心业务系统及必要辅助系统的业务连续性和数据的安全性,如何对现有信息系统进行灾难备份建设,成为单位信息系统当前迫切需要解决的两大课题。结合科研和实际信息化工作的需要开展了数据容灾的研究建设工作。
目前在用的存储系统中往往包含FCSAN和IPSAN,备份要兼顾FCSAN和IPSAN的特点和应用要求。笔者单位的核心业务系统等重要系统使用的是FCSAN存储网络,而辖区内下属各分支机构的相关应用使用的是IPSAN存储网络,但FC-SAN和IP-SAN这两种存储网络因物理介质和传输协议的不同导致信息孤岛现象,为了实现对现有信息化系统数据容灾,研究设计基于FCSAN和IPSAN两种存储网络融合存储系统的数据容灾,研究融合存储环境下的数据备份机制,提高融合存储系统中数据的可用性。
1.基于融合存储系统的容灾体系结构
传统的SAN是采用FC或者IP连接方式进行网络存储,其连接方式单一,各有优缺点。显然,采用FC连接方式的SAN数据传输速度快,但是价格昂贵并且传输距离较短,而采用IP连接方式的SAN虽然可扩展性和传输距离都较好,但是数据传输速度的瓶颈并没有得到很好的解决。因此,借助于融合存储平台就能较好解决这一问题。
融合存储平台解决IP-SAN和FC-SAN的互联互通融合性问题,可以让存储服务器通过IP、FC等不同连接方式将不同的远程存储资源映射到自身,进行统一虚拟化,并通过IP、FC等不同连接方式对外提供块级存储服务,并且可以在不中断服务的情况下动态地对统一虚拟化存储资源进行配置与管理。
基于ATCA的融合存储平台主要分为三个层次:上层为文件或应用服务器,即需要使用存储系统的服务器。上层不同连接通道的服务器也通过各自的连接方式连接到中层存储服务器。用户通过上层的应用户服务器获取存储空间和数据。
中层为ATCA融合存储服务器。ATCA存储服务器上装有对不同连接通道的硬件支持,例如FCHBA、以太网卡等。上层和底层不同的存储设备可以在硬件上通过各自的连接方式连接到中层存储服务器。这一层也称为统一存储层。底层为存储设备层。这层中的设备可以是任意块级存储设备,例如FC磁盘、FC磁盘阵列、iSCSI磁盘;也可以是块级存储服务器,甚至是另一个存储区域网系统。图1为系统整体架构图。
图1 系统整体架构图
上层与中层以及中层与底层之间通过SCSI协议进行数据访问,它们之间是块级数据传输,所采用的数据传输协议为FCP、iSCSI等不同连接的主流协议。在对数据访问的支持上使用统一处理模块进行处理。
底层的存储空间映射到中层实现存储虚拟化,并划分逻辑单元;中层将划分好的逻辑单元映射给应用服务器。底层对上层是透明的。
2.基于融合存储系统的容灾实现
融合式智能容灾存储系统的拓扑结构图如图2所示,系统设计为一个两点互相灾备的容灾存储系统。此处融合是主要指iSCSI和FC的融合,既包括存储池的融合,又包括应用服务器的融合,因为FC协议的限制,以及传输距离有限,FC链路的故障检测检测与应用迁移是很困难的,所以本文仅考虑iSCSI链路的故障检测技术的研究。
图2 拓扑结构图
实现容灾策略核心首先要能准确检测到错误,然后根据检测到的错误才能做出相应的处理。在实现过程中,主要研究的存储容灾系统的故障有融合存储控制器层的故障与存储池层的故障两类,具体分类如表1所示。
表1 故障具体分类
依据故障分类及检测技术可知,故障A、B由客户端检测发现,故障C、D由数据复制功能检测,因此故障C、D对于客户端的影响在于发生故障A或B时客户端能否切换到异地融合存储控制器继续正常运行,此情况由异地融合存储控制器根据是否发生故障C、D来决定客户端是否能正常切换。表中所列出的四个故障可能有多个故障同时发生的几率,但多个故障同时发生不影响对单个故障处理的策略,因为对单个故障的处理策略考虑了其他故障对其造成的影响。例如,对于故障A和故障B,在客户端看来的现象都是本地融合存储控制器不可用,因此客户端采取相同的策略,即客户端切换到异地融合存储控制器。当本地融合存储控制器恢复后,客户端再将存储服务回切到本地融合存储控制器。
同样,对于故障C与故障D,在融合存储控制器看来的现象都是存储设备不可用,因此融合存储控制器采取相同的策略来处理,若是本地存储池失效,由于数据复制功能的存在,客户端可继续对远程存储池进行I/O操作,并记录日志,当本地存储池恢复正常时,通过日志同步故障期间产生的更新数据;若异地的镜像卷失效,则反过来处理(此功能由数据复制实现)。故障C、D与客户端没有直接的关系,因此对客户端来说是透明的,不需进行处理。
2.2 故障检测与应用迁移的实现
基于融合存储的容灾存储系统主要分为存储管理、数据复制、故障检测与应用迁移及存储安全管理四个部分,四个部分有机地结合在一起形成一个完整的容灾存储系统。存储管理负责系统的统一管理、调度工作,包括管理存储设备、管理逻辑卷、管理用户等;数据复制则负责存储池间数据的同步或异步的复制,实现数据的备份;故障检测与应用迁移负责检测系统的故障,一旦发生故障则做出相应的处理,保证系统的高可用性;存储安全管理则负责用户认证、访问控制以及数据静态加解密等安全策略。
要使得基于融合存储的容灾存储系统是一个高可靠、高可用的系统,就需要在故障检测时有短的检测时间和高的检测精确性。然而短的检测时间与高检测精确性通常并不能同时兼得,例如Bertier的检测方法比Chen具有更短的检测时间,检测精确性却要低一些。在容灾存储系统中更加重要的是检测的精确性,因为一旦发生误判就会引起不必要的处理。因此在容灾存储系统中,为了保证高的精确性,可以折中地考虑适当牺牲检测时间。
对于存储池层的故障交由容灾存储系统的数据复制部分处理,因为这里只需处理存储控制器层的故障。同样,故障检测器分为被检测端和检测端,将其分别称为FDp和FDq,FDp定时向FDq发送心跳信息,FDq根据心跳信息是否超时来判断被检测的节点是否发生故障。在容灾存储系统中,由应用服务器检测存储控制器的故障,因此在存储控制器上部署故障检测器被检测端FDp,在应用服务器上部署故障检测器检测端FDq。故障检测策略的部署如图3所示。
图3 故障检测策略部署图
2.3 测试及分析
应用迁移的功能支持FTP、数据库,流媒体等典型应用,这里测试采用Oracle作为应用服务,Oracle采用版本为Oracle10g,安装在WindowsServer2008环境的iSCSI服务器上。针对Oracle应用的测试,开发了一个向Oracle数据库的表中批量写入数据的测试程序Oclient。
测试的过程如下:
(1)启动故障检测与应用迁移Windows版本程序HBclient,程序将会自动连接本地存储控制器,手动对连接上来的磁盘进行格式化。
(2)启动OracleDBCA,创建一个数据库,并将数据库文件存放于上一步格式化的磁盘上。新建一个表空间、用户,以及两个测试用的表Ttable1,Ttable2。
(3)通过批量写数据工具Oclient远程连接Oracle应用服务器,并向表Ttable1中写入5000条记录。
(4)重启本地存储控制器,模拟本地存储控制器故障,Oracle应用服务器会切换到远程存储控制器。
(5)通过Oclient再次连接Oracle应用服务器,查看Ttable1的记录,并向Ttable2中写入10000条记录,写入完成后查看Ttable2表中的记录,可以发现表Ttable2中存在10000条数据。
(6)待本地存储控制器重启完成后,进行应用回切,应用服务器成功回切到本地存储控制器。回切完成后再次通过Oclient查看Ttable2中的记录,可以发现Ttable2中存在10000条数据。通过测试的过程可以看出,Oracle应用可以正常地切换到远程并进行数据的读写,然后也可以正常地进行数据回切并进行数据的读写。应用迁移功能正常。应用迁移的性能的主要衡量指标是迁移时应用的中断时间,中断的时间越短,性能越好,零中断时间的无缝迁移则是性能最好的。
应用迁移的中断时间主要取决于故障的检测时间和远程存储控制器对服务切换请求的处理时间以及接管存储服务的时间开销。可知应用迁移中断时间(记为Tim):
Tim=Tfd+Tconnect+Tload+Tclient
其中Tfd表示故障检测的检测时间,Tclient表示客户端重新连接存储控制器的时间,Tconnect表示储控制器连接存储设备的时间,Tload表示存储控制器加载存储至存储服务接口的时间,Tconnect,Tservice都很短,相对于故障检测时间可以忽略,故障检测的时间则会根据不同的网络状况发生变化。
应用回切时间主要取决于数据恢复的时间以及重新连接的时间开销。存储服务切换回切时间(记为Tib):
Tib=Trecovery+Tclient
其中Trecovery是指进行数据恢复的时间,Tclient的含义同前面,Trecovery取决于需要恢复的数据量的大小,由故障发生期间的数据更新量决定。应用回切时间主要取决于数据恢复的时间以及重新连接的时间开销。存储服务切换回切流程通过多次的测试并选取典型值,并进行计算迁移时间与回切时间记录后可以得出,在没有数据恢复的情况下应用回切的中断时间基本相同,都在3秒左右,而有100MB的数据和370MB的数据需要恢复时应用回切的中断时间则会增加很多。
3.结语
通过基于融合存储系统的数据容灾的应用研究,可实现支持异构存储架构的核心存储交换平台,构成模块化、可扩展、可动态存储分区的网络存储体系,辅以全方位的具备远程数据镜像、数据快照与恢复、广域高可用服务诊断与接管等功能的存储容灾手段,为检验检疫数据中心及各类信息系统提供统一的、满足服务质量要求的容灾网络存储服务。但容灾存储系统在商业领域有着广泛的应用历史和前景,目前,我们研发的系统原型,虽然理论上能够满足用户的指标要求,但是,距离真实上线应用还有一段距离,系统的稳定性及技术风险还存在,但对于指导研究新型的备份系统研究上有一定的应用价值和指导意义。
核心关注:拓步ERP系统平台是覆盖了众多的业务领域、行业应用,蕴涵了丰富的ERP管理思想,集成了ERP软件业务管理理念,功能涉及供应链、成本、制造、CRM、HR等众多业务领域的管理,全面涵盖了企业关注ERP管理系统的核心领域,是众多中小企业信息化建设首选的ERP管理软件信赖品牌。
转载请注明出处:拓步ERP资讯网http://www.toberp.com/
本文标题:基于融合存储系统的数据容灾