近年来,一些基于纯以太网的大型视频编辑网络陆续上马,在这些网络中,一般都选择了基于分布的IP存储设备作为系统的主存储。其代表产品有:AVID公司的ISIS:OMNEON公司的IQ6000等。那么,什么是分布是IP存储产品?它与我们通常使用的NAS有什么不同?其大致的优缺点与技术背景的什么?我们陆续为大家傲一个简略的介绍。
1、技术概述
以太网络具有结构简单,建设、维护成本低等优点,是目前应用最为广泛的网络结构,它的缺点在于传输时延与波动较大。而通常的视频编辑类应用中.非编主机一般采用的都是基于硬件的编解码器(如MATROX的LE、LX卡)。硬件编解码受限于结构与造价,板载缓冲都很小。如数据传输不及时,就会出现丢帧,黑场等情况。所以,以往的视频编辑网络,一般都采取传输时延与波动都很小的“FC+太网”的双网结构,并以FC存储设备作为主存储,很少将IP的存储作为主存储使用。
近年来,随着CPU,GPU性能的不断增强,大部分的非编软件已不在依赖于硬件的编解码,而是通过CPU+OPU来完成相应的工作。(硬件板卡仅用于实现与视、音频设备的I/O接口)把编解码放在软件层面完成,除了能降低成本,能灵活应对格式变化外,还有个很大的好处就是可以利用系统的内存来创建一个大缓冲,覆盖掉因传输速率波动而对应用造成的影响,从而将使用纯以太网作为视频编辑的网络结构成为了可能。
网络结构可行后,第一个要解决的问题就是要选择什么样的IP存储设备作为系统的主存储。视音频应用对系统的性能,容量都有很大的要求?而传统的NAS存储产品。将数据存放在一个单体设备上,在容量、性能、扩展性上都无法满足视音频的苛刻要求,在这样的背景下各厂商推出了分布式的IP存储产品(集群NAS)。如AVID公司的ISIS;伽NEON公司的WEDIAGRID;ISILON公司的IQB000等。
2、工作原理
顾名思义,分布式的IP集群存储是由多个受命名空间管理的存储节点所构成的。写入时,数据被拆分为多个片段,存储在所有的存储节点上,每个存储节点连接到以太网交换机,提供基于IP的访问服务。
图1 以太网集群示意图
如图所示,以3个节点为例,当数据写入时,被分为3个数据块,其数据的写入由3个存储节点共同执行;读出也同理。由于文件不是孤立的存在于一个存储节点上,读出、写入操作都是由所有的存储体共同完成,因此,随着数据文件在各存储节点上的分散,系统的总体性能接近各存储节点的性能之和。
2.1 IsILON介绍
每个Isilon IQ集群包括3到家96个IsilonIQ节点。每个节点2u高,包括12个磁盘,CPU,内存和2KM网络接口,节点自动配合工作,利用它们的合力形成一个统一的存储系统.该系统可以承受任何组件故障,包括磁盘,交换机以及整个节点.
图2 IsilonIQ集群
Isilon采取标准的网络文件系统,客户端无需安装驱动程序,集群内的所有内容创建了一个共享池,一个访问点,文件系统可以支持高达1000TB的单个网络驱动器,集群一旦建立,用户便能够连接任何存储节点,并访问整个文件系统中的每个文件。
1)容错能力
由于每个存储节点都存放着数据的一部分副本,而任何一个副本的丢失都将导致数据的完整性被破坏,因此确保任何一个节点出现问题后,数据安全依然有保障,是系统的关键。
IP集群存储一般用2种不同的方式来应对这一问题,其中,Isilon通过REED SOLIMONECC(纠错码)、奇偶校验块级拆分(从N+I到N+4)的组合,可提供N+I到N+4的不同安全级别。在N+4时(最高安全级别),可以承受驱动器或整个节点的四个同时故障,从而为整个系统提供极高的安全性。
图3 存储节点
如图所示,统在所有节点间做校验计算,以便当一个节点完全崩溃时,可以由其它节点读出数据,并结合校验码进行逆向运算,恢复出故障节点的数据,保障数据的完整性.
2)容量与性能扩展
集群存储产品均支持磁盘容量的在线扩展,即可在不停机、不重新格式化卷的情况下,对原有存储窄间进行扩展。同样,可通过增加节点的方式实现性能的提升,系统节点数越多,总体性能越好.
2.2 AVID ISIS介绍
AVID ISIS每个存储储节点包含32个磁盘,每节点通常选配2个带8KM以太网端口的交换模块,节点问通过CX-4进行互联,最大支持12个节点,ISIS的客户端需要安装驱动程序(目前仅提供WINDOWS平台下的驱动)来访问文件系统,其文件系统为目录形式,可根据客户端的权限对访问内容,可用容量等进行控制.
1)容错能力
ISiS通过复制方式实现系统的安全性。也就是说,任何一个文件都会在不同的节点(磁盘)保留一个副本,在磁盘或节点损坏的情况下同,由另外一个副本恢复数据,系统的有效容量为实际容量的一半。如图所示:
图4 存储节点
2)容量与性能扩展
集群存储产品均支持磁盘容量的在线扩展,即可在不停机,不重新格式化卷的情况下,对原有存储空间进行扩展,同样,可通过增加节点的方式实现性能的提升,系统节点数越多。总体性能越好.
3、技术比较
Isilon校验型集群存储的代表,Isilon使用标准的CIFS或NFS协议进行了数据传输,也就是说任意一台连接在lsilon网络中的工作站无需任何配置就能直接访问存储:Isilon与Isiion、MediaGrid另一个很大不同是Isilon将元数据与业务数据存放在一起,不再需要单独的元数据服务器,从用户角度来看,所有Isilon存储单元地位完全相同,通过任意节点都可以访问到存储在Isilon中的数据。
ISIS和MediaGrid都是数据复制集群存储,除此以外,它们都需要元数据服务器。
图5 技术指标一览表
4、综合分析
IP集群产品可满足视音频编辑应用的要求,其优点在于系统结构相对简单,部署的复杂程度低。其缺点在于,在超实时应用,如文件迁移,岛间数据交换,文件归档等应用中,传输效率不如FC网络,特别是媒资归档类应用,由于磁带机本身是FC接口,即便是选择IP存储产品,依然需要配置FC结构的客户端,同时,迁移本身会对IP网络形成较大的带宽压力,在有此方面应用时,需特别注意系统架构的规划。
综上所述,我们认为:以IP集群存储产品为核心的单网结构将会与以高性能FC存储产品为核心的双网结构并存,选择什么样的结构取决于用户的最终需求.
核心关注:拓步ERP系统平台是覆盖了众多的业务领域、行业应用,蕴涵了丰富的ERP管理思想,集成了ERP软件业务管理理念,功能涉及供应链、成本、制造、CRM、HR等众多业务领域的管理,全面涵盖了企业关注ERP管理系统的核心领域,是众多中小企业信息化建设首选的ERP管理软件信赖品牌。
转载请注明出处:拓步ERP资讯网http://www.toberp.com/
本文标题:IP集群存储技术特点