建立数据仓库是一个解决企业问题的过程,业务人员往往不懂如何建立和使用数据仓库发挥其决策支持的作用,信息部门的人员往往又不懂业务不知道应该建立哪些决策主题,从数据源中抽取哪些数据,因此数据仓库的项目小组应该由业务人员和信息部门的人员共同组成双方需要相互沟通协作开发数据仓库。
开发数据仓库的过程包括以下几个步骤:
一、系统分析确定主题
建立数据仓库的第一个步骤,就是通过与业务部门的充分交流了解建立数据仓库所要解决的问题的真正含义,确定各个主题下的查询分析要求。
业务人员往往会罗列出很多想解决的问题,信息部门的人员应该对这些问题进行分类、汇总,确定数据仓库所实现的业务功能,一旦确定问题以后,信息部门的人员还需要确定一下几个因素:
·操作出现的频率即业务部门每隔多长时间做一次查询分析
·在系统中需要保存多久的数据是一年两年还是五年十年
·用户查询数据的主要方式如在时间维度上是按照自然年还是财政年
·用户所能接受的响应时间是多长是几秒钟还是几小时
由于双方在理解上的差异,确定问题和了解问题可能是一个需要多次往复的过程,信息部门的人员可能需要做一些原型演示给业务部门的人员看,以最终确定系统将要实现的功能,确实是业务部门所需要的。
二、选择满足数据仓库系统要求的软件平台
在数据仓库所要解决的问题确定后,第二个步骤就是选择合适的软件平台。包括数据库建模工具、分析工具等。这里有许多因素要考虑,如系统对数据量响应时间分析功能的要求等,以下是一些公认的选择标准:
·厂商的背景和支持能力能否提供全方位的技术支持和咨询服务
·数据库对大数据量(TB级)的支持能力
·数据库是否支持并行操作
·能否提供数据仓库的建模工具,是否支持对元数据的管理
·能否提供支持大数据量的数据加载转换传输工具(ETT)
·能否提供完整的决策支持工具集,满足数据仓库中各类用户的需要
三、建立数据仓库的逻辑模型
具体步骤如下
1、确定建立数据仓库逻辑模型的基本方法
2、基于主题视图把主题视图中的数据定义转到逻辑数据模型中
3、识别主题之间的关系
4、分解多对多的关系
5、用范式理论检验逻辑数据模型
6、由用户审核逻辑数据模型
四、逻辑数据模型转化为数据仓库数据模型
具体步骤如下
1、删除非战略性数据,数据仓库模型中不需要包含逻辑数据模型中的全部数据项,某些用于操作处理的数据项要删除
2、增加时间主键数据,仓库中的数据一定是时间的快照,因此必须增加时间主键
3、增加派生数据,对于用户经常需要分析的数据,或者为了提高性能可以增加派生数据
4、加入不同级别粒度的汇总数据,数据粒度代表数据细化程度,粒度越大数据的汇总程度越高,粒度是数据仓库设计的一个重要因素,它直接影响到驻留在数据仓库中的数据量和可以执行的查询类型,显然粒度级别越低则支持的查询越多,反之能支持的查询就有限
对数据操作的效率与能得到数据的详细程度是一对矛盾,通常人们希望建成的系统既有较高的效率,又能得到所需的详细资料,实施数据仓库的一个重要原则就是不要试图包括所有详细数据,因为%的分析需求是在汇总数据上进行的,试图将粒度细化到最低层只会增加系统的开销降低系统的性能。
五、数据仓库数据模型优化
数据仓库设计时性能是一项,主要考虑因素在数据仓库建成后也需要经常对其性能进行监控并随着需求和数据量的变更进行调整。
优化数据仓库设计的主要方法是
·合并不同的数据表
·通过增加汇总表避免数据的动态汇总
·通过冗余字段减少表连接的数量不要超过~个
·用ID代码而不是描述信息作为键值
·对数据表做分区
六、数据清洗转换和传输
由于业务系统所使用的软硬件平台,不同编码方法不同,业务系统中的数据在加载到数据仓库之前必须进行数据的清洗和转换,保证数据仓库中数据的一致性。
在设计数据仓库的数据加载方案时必须考虑以下几项要求
·加载方案必须能够支持访问不同的数据库和文件系统
·数据的清洗转换和传输必须满足时间要求能够在规定的时间范围内完成
·支持各种转换方法各种转换方法可以构成一个工作流
·支持增量加载只把自上一次加载以来变化的数据加载到数据仓库
七、开发数据仓库的分析应用
建立数据仓库的最终目的是为业务部门提供决策支持能力,必须为业务部门选择合适的工具,实现其对数据仓库中的数据进行分析的要求。
信息部门所选择的开发工具必须能够:
·满足用户的全部分析功能要求,数据仓库中的用户包括了企业中各个业务部门他们的业务,不同要求的分析功能也不同,如有的用户只是简单的分析报表,有些用户则要求做预测和趋势分析
·提供灵活的表现方式分析的结果,必须能够以直观灵活的方式表现,支持复杂的图表使用,方式上可以是客户机/服务器方式也可以是浏览器方式
事实上没有一种工具能够满足数据仓库的全部分析功能,需求一个完整的数据仓库系统的功能可能是由多种工具来实现,因此必须考虑多个工具之间的接口和集成性问题,对于用户来说希望看到的是一致的界面。
八、数据仓库的管理
只重视数据仓库的建立而忽视数据仓库的管理必然导致数据仓库项目的失败,数据仓库管理主要包括数据库管理和元数据管理。
数据库管理需要考以下几个方面
·安全性管理。数据仓库中的用户只能访问到他的授权范围内的数据数据在传输过程中的加密策略
·数据仓库的备份和恢复。数据仓库的大小和备份的频率直接影响到备份策略
·如何保证数据仓库系统的可用性硬件还是软件方法
·数据老化。设计数据仓库中数据的存放时间周期和对过期数据的老化方法,如历史数据只保存汇总数据当年数据保存详细记录
然而元数据管理贯穿于整个系统的建设过程中,元数据是描述数据的数据,在数据采集阶段元数据主要包括下列信息:
·源数据的描述定义类型位置结构
·数据转换规则编码规则行业标准
·目标数据仓库的模型描述星型/雪花模型定义维/事实结构定义
·源数据到目标数据仓库的映射关系函数/表达式定义
·代码生成转换程序自动加载程序等
在数据管理阶段元数据主要包括下列信息
·汇总数据的描述汇总/聚合层次物化视图结构定义
·历史数据存储规则位置存储粒度
·多维数据结构描述立方体定义维结构度量值钻取层次定义等
在数据展现阶段元数据主要包括以下信息
·报表的描述报表结构的定义
·统计函数的描述各类统计分析函数的定义
·结果输出的描述图表输出的定义
元数据不但是独立存放而且对用户是透明的标准元数据之间可以互相转换
核心关注:拓步ERP系统平台是覆盖了众多的业务领域、行业应用,蕴涵了丰富的ERP管理思想,集成了ERP软件业务管理理念,功能涉及供应链、成本、制造、CRM、HR等众多业务领域的管理,全面涵盖了企业关注ERP管理系统的核心领域,是众多中小企业信息化建设首选的ERP管理软件信赖品牌。
转载请注明出处:拓步ERP资讯网http://www.toberp.com/
本文标题:如何建设ERP数据仓库
本文网址:http://www.toberp.com/html/consultation/10820511556.html