引言
随着计算机的广泛应用,数据存储的重要性不言而喻。数据是企业宝贵的资源,尤其在电子商务大型系统中,要考虑支持几千或上万用户同时存取和7×24h不间断运行的要求,如何保证业务连续性运营及数据的可靠性是一个重要的课题。
日益激烈的市场竞争和不断提高的客户服务质量需求对数据库能力和可靠运行的要求越来越高,从面向客户服务的角度而言,无论何时出现何种情况,都需要数据库提供不问断的业务支撑服务,以保证客户满意度、客户服务质量、企业信誉等不受影响,对企业而言也可避免财务损失,增强企业竞争力。与此同时系统故障、人为误操作、传输中断、电网停电、服务器崩溃、磁盘损害系统风险甚至数据中心的灾难性丢失都可能造成数据库文件的损害或丢失。
1 数据容灾备份的等级
容灾备份是通过在异地建立和维护一个备份存储系统,利用地理上的分离来保证系统和数据对灾难性事件的抵御能力。
设计一个容灾备份系统,需要考虑多方面的因素,如备份/恢复数据量大小、应用数据中心和备援数据中心之间的距离和数据传输方式、灾难发生时所要求的恢复速度、备援中心的管理及投入资金等。根据这些因素和不同的应用场合,通常可将容灾备份分为4个等级。
1)第0级:没有备援中心。这一级容灾备份,实际上没有灾难恢复能力,它只在本地进行数据备份,并且被备份的数据只在本地保存,没有送往异地。
2)第1级:本地磁带备份,异地保存。在本地将关键数据备份,然后送到异地保存。灾难发生后,按预定数据恢复程序恢复系统和数据。这种方案成本低、易于配置。但当数据量增大时,存在存储介质难管理的问题,并且当灾难发生时存在大量数据难以及时恢复的问题。为了解决此问题,灾难发生时,先恢复关键数据,后恢复非关键数据。
3)第2级:热备份站点备份。在异地建立一个热备份点,通过网络进行数据备份。也就是通过网络以同步或异步方式,把主站点的数据备份到备份站点,备份站点一般只备份数据,不承担业务。当出现灾难时,备份站点接替主站点的业务,从而维护业务运行的连续性。
4)第3级:活动备援中心。在相隔较远的地方分别建立2个数据中心,它们都处于工作状态,并进行相互数据备份。当某个数据中心发生灾难时,另一个数据中心接替其工作任务。这种级别的备份根据实际要求和投入资金的多少,又可分为2种:①2个数据中心之间只限于关键数据的相互备份;②2个数据中心之间互为镜像,即零数据丢失等。零数据丢失是目前要求最高的一种容灾备份方式,它要求不管什么灾难发生,系统都能保证数据的安全。所以,它需要配置复杂的管理软件和专用的硬件设备,需要投资相对而言是最大的,但恢复速度也是最快的。
2 容灾备份的关键技术
在建立容灾备份系统时会涉及到多种技术,这里重点介绍Oracle GoldenGate数据库同步技和HDSUSPV存储复制技术。
2.1 Oracle GoldenGate数据同步技术
GoldenGate TDM(交易数据管理)软件是一种基于日志的结构化数据复制软件,它通过解析源数据库在线日志或归档日志获得数据的增删改变化,再将这些变化应用到目标数据库,实现源数据库与目标数据库同步、双活。GoldenGate TDM软件可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制。
GoldenGate TDM的数据复制过程如下:利用捕捉进程(Capture Process)在源系统端读取OnlineRedo Log或Archive Log,然后进行解析,只提取其中数据的变化,如增、删、改操作,并将相关信息转换为GoldenGate TDM自定义的中间格式存放在队列文件(trail file)中。再利用传送进程将队列文件通过TCP/IP传送到目标系统。捕捉进程在每次读完Log中的数据变化并在数据传送到目标系统后,会写检查点,记录当前完成捕捉的Log位置,检查点的存在可以使捕捉进程在中止并恢复后可从检查点位置继续复制;目标系统接受数据变化并缓存到GoldenGate TDM队列当中,队列为系列临时存储数据变化的文件,等待投递进程读取数据;
GoldenGate TDM投递进程(Delivery process)从队列中读取数据变化并创建对应的SQL语句,通过数据库的本地接口执行,提交到数据库成功后更新自己的检查点,记录已经完成复制的位置,数据的复制过程最终完成。由此可见,GoldenGate TDM是一种基于软件的数据复制方式,它从数据库的日志解析数据的变化(数据量只有日志的四分之一左右)。GoldenGate TDM将数据变化转化为自己的格式,直接通过TCWIP网络传输,无需依赖于数据库自身的传递方式,而它可以通过高达10:l的压缩率对数据进行压缩,可以大大降低带宽需求。在目标端,GoldenGate TDM可以通过交易重组,分批加载等技术手段大大加快数据投递的速度和效率,降低目标系统的资源占用,可以在亚秒级实现大量数据的复制,而且目标端数据库是活动的。
GoldenGate具有以下关键特性:
1)对生产系统影响小;
2)实时读取交易日志,以低资源占用实现大交易量数据实时复制;
3)以交易为单位复制,保证交易一致性;
4)高性能;
5)智能的交易重组和操作合并;
6)使用数据库本地接口访问;
7)并行处理体系;
8)灵活的拓扑结构;
9)支持一对一、一对多、多对一、多对多和双向复制等;
l0)支持数据过滤和转换;
11)可以自定义基于表和行的过滤规则;
12)可以对实时数据执行灵活影射和变换;
13)提供数据压缩和加密;
14)降低传输所需带宽,提高传输安全性。
2.2 HDS USPV软件技术
HDS通用复制软件Universal Replicator,是基于HDS最新一代的通用存储平台实现的异步远程数据复制软件。通过HDS通用存储平台的虚拟化功能,HDS通用复制软件可以实现同构或异构存储系统之间的远程数据复制功能。
HDS通用复制软件采用基于磁盘日志文件的技术,可以保证远程数据的一致性和完整性,同时,极大地降低了存储系统CACHE和通信链路带宽的需求。它是对HDS原有的异步远程复制软件的补充。
HDS通用复制软件的原理如图1所示。当服务器端发出一个写操作时,写I/0按照写发生的顺序保存在主存储系统的日志卷(JNL)中,远端的存储系统通过发出读日志命令从主存储系统的日志卷(JNL)中读取记录并将其写到本地的日志卷(JNL)中,然后将该记录更新到本地的数据卷中。
在异步远程数据复制时。如何保证远端存储系统的数据一致性是一个非常重要的课题。HDS通用复制软件通过时间戳和顺序号技术,保证了在远端的存储系统中接收到的记录能够按照其写操作的发生顺序更新到远端的存储系统数据卷中。而这种技术已经在日立原有的远程数据复制软件中使用,并已经经过实践证明。同时,HDS通用复制软件还支持数据一致性组技术,可以保证跨多数据卷的数据的完整性和一致性。
图1 HDS通用复制软件原理
HDS通用复制软件引入了拉(pull)机制实现数据的复制,使用这种技术,主存储系统不需要特定的资源将数据推(push)到远程存储系统中,而是远程存储系统到本地存储系统来读日志卷。这样就解除了主存储系统用于数据远程复制的资源消耗,使得主存储系统的资源100%的服务于生产系统,从而提高了存储系统的性能。
HDS通用复制软件也节省了通信链路的带宽需求,在传统的数据远程复制环境下,通信链路的带宽需求不够,则数据会累积在存储系统的CACHE中,当CACHE资源不够时,远程数据复制过程中断。采用基于磁盘日志方式的通用复制软件,可以利用磁盘日志文件缓冲对带宽的瞬时高需求,从而可以避免由于瞬间的高带宽需求造成的远程数据复制的挂起。
HDS通用复制软件也有效的解决了在数据复制过程中的重新同步过程中的数据不一致性问题。在传统的数据复制方式下,当数据链路的原因造成数据不能够复制,数据远程复制自动挂起,同时对生产端存储系统的数据更新保存在存储系统的Bitmap表中,当链路恢复后,存储系统根据Bitmap表中的记录信息将更新过的磁道复制到备份端的存储系统,而在这个过程中备份端的存储系统的数据一致性是不能保证的,这就是数据复制的重新同步问题。由于HDS通用数据复制软件采用基于磁盘日志的工作方式,当数据链路断开后,对数据的更新仍然按顺序保存在磁盘日志中,这样,当链路恢复后,HDS的通用复制软件仍然到生产端存储系统的日志文件中读取数据更新记录,这样就解决了数据的重新同步问题。
由于HDS通用复制软件是基于HDS通用存储平台实现的数据远程异步复制功能,由于HDS通用存储平台可以支持异构的存储系统连接和虚拟化,所以HDS通用复制软件可以实现异构的存储系统之间的数据远程异步复制功能。
3 结语
数据容灾系统,对于IT而言,就是为计算机信息系统提供的一个能应付各种灾难的环境。当计算机系统在遭受如火灾、水灾、地震、战争等不可抗拒的自然灾难以及计算机犯罪、计算机病毒、掉电、网络/通信失败、硬4牛-/软件错误和人为操作错误等人为灾难时,容灾系统将保证用户数据的安全性(数据容灾),甚至一个更加完善的容灾系统,还能提供不间断的应用服务(应用容灾)。可以说,容灾系统是数据存储备份的最高层次。
核心关注:拓步ERP系统平台是覆盖了众多的业务领域、行业应用,蕴涵了丰富的ERP管理思想,集成了ERP软件业务管理理念,功能涉及供应链、成本、制造、CRM、HR等众多业务领域的管理,全面涵盖了企业关注ERP管理系统的核心领域,是众多中小企业信息化建设首选的ERP管理软件信赖品牌。
转载请注明出处:拓步ERP资讯网http://www.toberp.com/
本文标题:数据容灾备份的等级及关键技术
本文网址:http://www.toberp.com/html/consultation/1083932135.html