随着企业规模的扩大、机械设备的增加，设备产生的各种类型的故障诊断等业务数据呈现大规模增长趋势，因此对企业的大规模数据的分析处理能力、数据的协作共享、计算资源的整合等提出了更高的要求。
云计算(Cloud Computing)技术作为计算模型的代表，通过网格计算(Grid Computing)、效用计算(Utility Computing)、服务计算(Service Com—puting)等多种技术的综合演化，具有适用于处理以上大规模数据的多种技术特征。
从云的构建技术来说，它是一种利用大量的并行工作的处理器来处理高性能计算问题的模式。与其他的高性能计算技术相比，该技术具有3个基本特征，即云平台建立在大规模的廉价服务器集群之上，通过基础设施与上层应用程序的协同构建以达到最大效率利用硬件资源的目的，同时通过软件的方法可容忍多个节点的错误。通过对这3个方面基本特征的体现，达到分布式系统的2个重要目标：系统的可扩展性和可靠性。
针对云计算模型在机械设备故障诊断数据处理中的应用，本文的研究内容包括两方面：一方面是依据企业的资源分布特征，研究如何构建基于云计算模型的分布式平台，使得应用易扩展到更大规模；另一方面是依据企业的数据特征，研究分布式计算的编程模型，帮助开发人员在云计算的分布式平台上进行编程，以实现大规模的数据分析和处理任务。
1 企业故障诊断的特征分析
本文所述云计算模型是针对一个下属许多子公司的大规模生产企业，从企业的资源分布特征和数据特征进行分析。
资源分布特征具有如下特点：各子公司的故障分析诊断系统大多为单独开发建设、自成体系，或购买一些测试诊断公司的客户端管理分析软件；数据分布于各个子节点中；一个企业的数据往往分布在不同的子公司之中，数据的管理异常困难。
数据特征具有如下特点：
a．流量大。随着现代工业技术的不断发展，生产制造系统的自动化水平不断提高，故障诊断技术不断得到重视。设备每天都会产生海量诊断数据，这些数据一般保存在本地服务器上，逐渐造成数据在本地服务器上的饱和，为此必须增加成本，添加设备，以满足日益增长的数据信息。
b．异构性。企业有着大小规模不一的子公司，设备产生的大量诊断数据都以专有的格式保存，数据资源之间的互操作性及集成性很差，标准的统一有利于行业的整体发展。
2 云计算在企业中的应用模式
针对故障诊断计算资源和数据资源的特征及数据处理要求，分析了云计算模型中的虚拟化技术在故障诊断计算资源的整合及MapReduce编程模型在故障诊断大规模数据处理中的应用模式。
2．1虚拟化技术对计算资源整合利用的支持
虚拟化技术是云计算的核心技术之一，是表示计算机资源的抽象方法，通过虚拟化可以用与访问抽象前资源一致的方法访问抽象后的资源。这种资源的抽象方法并不受现实、地理位置或底层资源的物理配置的限制。
大型企业诊断方面所需的大规模数据处理业务表现为计算密集型的应用，需要消耗大量硬件资源。而这些诊断方面的计算资源由于地域的差异表现为分布性及负载不均衡的特点，可以通过虚拟化技术将各子工厂的闲散资源进行有效地重组和利用。图1是公司利用云计算模型建立起来的企业资源网。
图1 企业资源网拓扑结构
2．2 MapReduce对大规模故障诊断数据处理机制的支持
MapReduce(映射一聚集函数)模型是由Google公司的JeffreyDean和SaniayGhemawat提键值出的高阶并行函数的抽象模式，在MapReduce计值对。MapReduce函数库聚合所有相同的中间键算模型中有2个关键过程：映射过程Map和聚集过程MapReduce。因此需要用户提供映射(Map)函数和聚集(Reduce)函数，这2个函数对一组输入的键值对(key／value)进行计算，得出另一组输出键值对，即有
Map：(k1，u1)一list(k2，v2)；
Reduce：(K2，list(v2))一list(k2，v3)。
用户自定义的映射函数(Map)接收一组输入对(kl，v1)，经过处理后产生一组中间的键k2的相应值，产生关于k2键的值集合list(v2)，并且发送给由用户提供的聚集函数Reduce，Re一duee再进一步处理、合并该中间键的值集合，最后形成一个相对较小的键值对集合List(k3，v3)。整从图2中可以看到，MapReduce的优势表现在以下几个方面：
图2 MapReduce任务计算流程示意图
a．大规模数据分析计算任务中的容错。MapReduce采用的是主动的“拉”的方式来保证Mapper和Reducer之间的通信。相比被动的“推”模式，即便某个任务出现失败，也不会因数据的丢失而导致整个计算任务的重新执行。
b．对于异构存储环境中的数据处理。MapReduce通过简单的模型(定义读写实现)来实现对异构存储系统上的数据分析。因此，各子公司独立建设的故障诊断系统中标准不一的数据，也能够很方便地通过MapReduce的读写接LI来统一处理、分析，实现数据资源间的互操作和综合集成。
c．MapReduce机制基于函数式编程的思想，能够实现复杂功能的数据处理，相对于一些关系型数据库(DBMs)结构化查询语言所实现的简单选择、聚合等数据处理(本质上也是并行处理)来说，MapReduce可以并行实现更多更复杂的机械故障诊断方面的应用。
3 基于云计算机械故障诊断数据处理框架
针对企业计算资源和数据资源特征及数据处理要求，提出了一个适用于企业的、基于云计算技术的数据处理模型。如图3所示，基于云计算技术的企业数据处理模型是一个层次结构，最底层分布的是各企业及用户，其在云中表述成各个虚拟资源节点，在企业之上是大规模数据处理平台，大规模数据处理平台为企业提供计算平台的软件支持，在各虚拟资源节点间完成分布式并行处理的计算任务，并最终将计算结果以服务的形式提供给终端企业，这一层也可直接向企业提供虚拟的计算资源和存储资源的服务。
图3 基于云计算技术的企业数据处理框架
本文对此框架进行了实现。在大规模数据处理平台中，利用了Apache开源组织的分布式计算开源框架Hadoop。Hadcop是一个类Google的开源项目，实现了分布式文件系统(HDFS)，并且支持MapReduce，从而能够提供可靠的、可伸缩的分布式计算，可以很容易地开发和运行处理海量数据的应用。
4 企业诊断数据处理系统开发
本文以企业诊断数据信息处理为例。诊断数据信息是机械设备故障诊断系统的核心，针对企业的资源分布特征和数据特征，利用第3节提出的云计算数据处理模型开发了一个可查询、分析、存储数据的原型系统。在云中构建机械设备远程故障诊断系统，每个子公司在云中都申请得到一个虚拟服务器，逻辑上云端就能向N个节点提供服务。
5 结束语
本文对企业故障诊断应用需求进行了特征分析，探讨了云计算在工业行业的应用模式，采用Internet的云计算编程模式MapReduce和开源框架Hadoop，设计和实现了企业云的分布式平台基础设施，并将企业诊断数据处理实例应用在该平台上的编程，验证了云计算技术在该应用领域所带来的高效性及高可扩展性。
核心关注：拓步ERP系统平台是覆盖了众多的业务领域、行业应用，蕴涵了丰富的ERP管理思想，集成了ERP软件业务管理理念，功能涉及供应链、成本、制造、CRM、HR等众多业务领域的管理，全面涵盖了企业关注ERP管理系统的核心领域，是众多中小企业信息化建设首选的ERP管理软件信赖品牌。
转载请注明出处：拓步ERP资讯网http://www.toberp.com/
本文网址：http://www.toberp.com/html/consultation/1083973726.html
相关文章
