0 引言
随着企业信息化管理水平的不断提高,以及越来越多的信息系统投入运营,企业积累了大量的业务数据,而各信息系统对数据仅停留在存储、查询和显示等简单的联机事务处理阶段,却忽略了数据分析的重要性,潜藏在数据背后的商业价值没有被信息系统充分挖掘和利用。同时市场经济的不断发展必然加剧市场竞争,企业所处的环境和组织结构也会日益复杂,如何保障企业高效运行、正确决策和快速响应市场变化成为企业又快又好发展的关键突破口。
基于以上2点需求,商业智能(BI)技术应运而生。商业智能的数据整合能力能够帮助决策人员快速、准确地捕获并解读所关心的数据,决策者通过把握多维度多层次数据获得知识和洞察力,提高决策的效率。借助商业智能收集、整理、分析和评估企业业务数据,将海量数据转化为稳定、可靠、多维度和直观的信息以挖掘潜在的商机,进而指导企业业务行为并进行辅助决策,已经成为企业下一步信息化建设的必然选择。
1 商业智能及其核心技术
商业智能是一个包含信息管理基础架构的平台,通过分析应用为企业的商业策略和绩效管理提供支持,并可以对人员和流程进行一定的管控。从系统的角度来看,商业智能的过程起始于不同数据源的数据收集,提取有用的数据进行加工、处理以保证数据的正确性,加工后的数据经过转换、重构存入数据仓库成为实体信息,对这些实体信息进行查询、挖掘、分析和评估等操作,使其成为辅助决策的知识并呈现在最终用户面前,转变为用户决策。可以看出,企业信息化是商业智能应用的基础,商业智能最大程度地利用了企业信息化中各应用系统的数据,将企业日常业务数据整理为信息,逐步升华为知识,从而为决策者提供最大力度的支持。
从企业商业智能系统建立的层面上来看,构建一个完整的商业智能系统涉及到以下几种核心技术:
①数据仓库(DW)。数据仓库是面向主题的、集成的、相对稳定的、连续的数据集合,用以支持经营管理中的决策制定过程,是商业智能的基础。数据仓库能够从容量庞大的业务处理型数据库中抽取数据,处理、转换为新的存储格式;
②联机分析处理(OLAP)。联机分析处理技术使分析人员、管理人员或执行人员从多种角度对从原始数据中转化出来、能够真正为用户所理解的、并真实反映企业维度特性的信息进行快速、一致、交互地存取,从而获得对数据更深入了解的一类软件技术;
③数据挖掘(DM)。数据挖掘即数据库中的知识发现,是一个在数据中提取出有效的、新颖的、有潜在实用价值和易于理解知识模式的高级过程。数据挖掘技术以企业拥有的大量数据为对象,通过抽取、转换、装载等数据处理方法,发现数据的关联与趋势,探寻出其中的业务规律和模式。
其中联机分析处理侧重于与用户的交互、快速的响应速度及提供数据的多维视图,而数据挖掘则注重自动发现隐藏在数据中的模式和有用信息。
2 系统体系结构
企业的决策层管理具有全局性、长远性、关键性和权变性等特征,从技术角度要求商业智能系统要具有良好的集成性和伸缩性,能够从企业宏观角度反映总体指标,而不是拘泥于某一具体的业务应用系统;能够剖析历史数据,并结合即时数据预测企业运营趋势;能够把握企业运营状态,有选择地关注业务关键节点;能够根据企业发展需要及时调整监控侧重点,突出重点数据。结合上述要求和商业智能的技术组成,将企业商业智能系统划分为4个层面,每个层面由不同的数据处理和应用过程环节进行连接,对应4个层面,数据的传递和操作也有4个环节,4个层面和4个环节共同组成了商业智能系统的体系结构,如图1所示。
图1 商业智能系统体系结构
商业智能系统的4个层面分别为数据源、数据仓库、数据分析处理和前端应用。数据源由所内各业务信息应用系统中的基础数据或文档资料中的业务数据组成,是商业智能系统的数据基础;数据仓库包含数据监控导入和数据存储2个部分内容,前者根据定制的规则和流程对数据源中的业务数据进行加工处理,后者对加工后的数据进行分门别类或者重新组织,将其存储在不同的数据集合中供后续处理,二者协同完成商业智能系统核心数据的存储和管理工作;数据分析处理依据数据模型进行数据的再次重组,以支持用户多维度、多层次的分析,发现数据趋势;前端应用由信息访问和决策管理2个部分组成,二者以上层的数据分析处理结果为基础,信息访问负责将数据以人性化的图形、表格等方式呈现在用户的面前,决策管理则构建知识库,形成推理机,为管理者在信息门户中决策时提供参考依据。
商业智能系统中的4个环节是对数据的动态处理过程,体现了数据在系统中流转的生命周期。期初的业务数据经过良好的设计和建模存储在各信息系统数据库中,然后对业务数据进行整合和组织形成数据仓库,接下来进入多维数据分析与挖掘阶段,最后表述、解释、转化数据分析结果为视图、报表和知识等形式。下面对商业智能系统体系结构中的4个层面和4个环节进行详细说明。
2.1 数据源
企业内部的组织机构信息、日常经营活动生成和积累下的业务信息、财务统计等信息经过数据建模、概念设计、逻辑设计和物理设计等步骤存储在对应的业务信息应用系统的关系型数据库中,如物资管理系统(MMS)、项目管理系统(PMIS)、生产管理系统(PMS)和合同管理系统(CMS)等等,这些系统的数据构成了商业智能系统的基础数据主体。业务信息系统之外产生的文档资料经过转化和处理,形成标准形式的文本或者XML作为商业智能系统数据源的补充。
2.2 数据仓库
2.2.1 数据监控导入
此模块负责监控业务信息系统中的数据,根据规则将目标数据导入到对应的数据仓库中。对于像物资管理系统中的库存变化信息这种实时性要求较高的业务数据通过CTF(即Capture、Transform和Flow)技术实现,当监控的源数据发生变化时立即触发处理流程(Captum),扁动事先编好的程序或者数据库中的触发器进行数据更新(Transform),完成数据仓库的导入(Flow)过程,对于其他业务数据利用ETL(即Extract、Transform和Load)技术进行周期性处理,针对不同的关系型数据库、不同形式的源数据采取不同的数据抽取方式(Extract),而后经过映射、字段运算、数据整合等一系列的处理过程(Transform),将转换好的数据按照定义好的模型增量装载到数据仓库中。数据的ETL处理流程如图2所示。
图2 数据的ETL处理流程
2.2.2 数据存储
源数据经过CTF和ETL处理后按照主题进行加工、汇总、整理和组织,改变成一种结构化或者规划良好的数据集合进行存储形成数据仓库,CTF加上的即时数据存储在操作数据存储(ODS)中,ODS只保存当前的和近期的数据,超过期限的数据作为历史数据定期导入到DW数据仓库以特定的规则进行模型转化和数据组织形成数据集市(Data Market),提供诸如生产进度和入所检验等局部应用范围级别的信息需求服务。数据立方对数据进行多维度、多层面的整合和组织,形成不同的主题表、维度表和事实表,“满足不同角度的信息需求例如将供方评价分为供货量、按时到货和采购品合格率等几个维度以便横向对比。
2.3 数据分析处理
各信息系统的业务数据经过加工转化存储在数据仓库中后进入多维分析和挖掘阶段,综合采用OLAP、数据挖掘和分析规则处理技术对数据仓中的数据进行二次加工。OLAP建立不同的数据模型,辅之多维化或预综合处理,使数据满足快速查询、统计和维度转化的要求;同时OLAP工具采用直观灵活的数据查询和输出方式,方便管理者进行逐层细化等操作。数据挖掘采用数学、统计和人工智能等领域的科学方法,从数据仓库中挖掘隐含的、有潜在价值的关系、模型和趋势,并用这些知识和规则建立服务于上层用户进行决策支持的模型,分析规则处理模块由事件监视器、事件队列及管理器、分析引擎组成,当数据仓库有事件发生时,触发分析规则的执行,进行主动推理,产生决策信息。
2.4 前端应用
2.4.1 信息访问
前端应用作为商业智能系统的人机交互界面,将经过挖掘、分析和处理过后的数据进行集成管理,分类、编目,摘要,审核和发布数据信息,为用户提供一个统一的信息访问平台,囊括自定义查询、组合报表和多维统计等功能。
2.4.2 决策支持
建立管理驾驶舱分系统,利用关联规则、分类、聚类和人工神经网路等方法挖掘蕴含在数据中的商业价值,转化数据为知识信息,形成知识库和推理机,生成预测模型和决策树等作为辅助管理者决策的参考依据。同时提供基于报表的分发和预警机制,调度作业从而触发事件,向相关业务人员传达管理者的决策信息,如项目拖期处理意见、重大科研产品质量跟踪反馈等。图3给出了管理驾驶舱分系统中借助Flex技术以可视化界面直观显示销售收入及商机分析信息的例子。
图3 BI前端应用可视化管理驾驶舱示例
3 结束语
商业智能系统利用数据仓库、联机分析处理和数据挖掘技术实现了企业级的数据共享和知识积累,为企业日常经营管理向更加规范、科学的深层次方向发展提供了科学的决策依据,创造了更大的经济效益,商业智能的并起为企业信息化发展注入了新的活力,构建商业智能系统必将加快企业信息化建设的步伐,促进企业信息化管理水平的提高。
核心关注:拓步ERP系统平台是覆盖了众多的业务领域、行业应用,蕴涵了丰富的ERP管理思想,集成了ERP软件业务管理理念,功能涉及供应链、成本、制造、CRM、HR等众多业务领域的管理,全面涵盖了企业关注ERP管理系统的核心领域,是众多中小企业信息化建设首选的ERP管理软件信赖品牌。
转载请注明出处:拓步ERP资讯网http://www.toberp.com/