受益于多年来的完善的信息化建设,包括在ERP系统、仓库管理、客户关系管理、人事系统等多个系统的支持下,企业积累了海量数据,在信息的丰富度方面达到了前所未有的速度、厚度、细度和准确度。也即是现在比较时新的“大数据时代”,此时的数据分析,已经有了充足的数据基础,关键是如何对已有的数据进行精益化的处理,并将分析结果运用于企业运营中。
一、大数据时代呼唤深度挖掘与精细管理
1.大数据时代的数据特征。当今天下的互联网重镇不外乎哈佛、牛津、耶鲁、新加坡国立等世界顶级的一流大学,有一位教授在这结互联网重镇都曾有过任教经历,他就是维克托·迈尔·舍恩伯格,他第一次将大数据时代以其独特的视角摆在世人的面前。大数据时代所带来的信息风暴已经来袭,大数据时代所带来的信息风暴已经开始冲击我们的时代并正在改变着我们的生活、工作、学习以及思维方式,大数据时代开启了一个崭新的属于信息的时代,并且,大数据时代终将促成我们这个世界的转型与巨变。大数据时代所带来的不仅仅是思维的变革,还将带给世人商业变革与管理变革。
大数据时代的最大的特征就是数据量已经达到了令人无法想像的巨大程度,据统计,人类有史以来的全部数据之中的百分之九十以上均为近两年内由人类产生的。由此可见,大数据时代真的来临了!大数据时代不仅存在着数据量极为巨大的特征,而且还存在着巨大的数据量之中所包含的信息量巨大的特征。这些海量的数据必然给处理数据、分析数据带来极大的困难。但是,一旦掌握了处理与分析海量数据的手段与方法,你将获得在大数据时代的海洋中扮演一个海上骑鲸客的自由。
2.大数据时代的数据挖掘的内涵。大数据时代是近两年来的一场极具颠覆性的数据革命,大数据时代所带来的数据革命不仅将会对人们的生产生活带来巨大的影响,而且还将对企业的决策、企业的组织、企业的业务流程等产生至关重要的影响,甚至大数据时代还将在某种程度上对于国家的治理模式产生非凡的影响。在大数据时代之中,人与人之间的界限已经完全模糊到没有国界,甚至于完全没有任何疆界。值得指出的是,在这个大数据时代,最为宝贵的资产已经从其他种种转变成了数据,数据才是这个大数据时代的最为宝贵的财富。然而这些海量的“宝贵财富”却犹如一座藏宝之山一样,被层层包裹着,这就需要人们利用工具将这座藏宝之山打开,而开山的工具就是一一数据挖掘。数据挖掘在英文中的本意为数据勘探,这生动而形象地形容了人们从海量数据之中探索其内在规律的艰辛的过程。
数据挖掘即指通过对海量数据进行建模,并且通过数理模型对企业的海量数据进行整理与分析,以试图帮助企业了解其不同的客户或不同的市场划分,借以得出消费者的喜好及其行为方式的一种从海量数据中找出企业所需的方法。海量数据之中隐藏着企业所需的某种规律性的东西,经过建模以后就可以利用模型自动地从海量数据中找到这种关联性。数据挖掘通常会用到统计分析的一些具体方法以及联机分析与处理系统、情报检索系统、机器学习系统、专家系统及模式识别系统等科学方法。
3.大数据时代的数据精细管理的含义。自2012年大数据时代彻底扎根落地,仅仅过了一年时间即已遍地开花,多家专业级的互联网机构的预测显示,2012年的大数据市场增速即高达40%, 2013年还将翻上一番。仅就我国的大数据发展前景来看,我国的工业信息化、信息产业化、城镇信息化、农业信息化、教育信息化、军事信息化等其发展的过程中必将产生数量庞大的数据,大数据的市场可谓灸手可热,这为我国的数据精细管理提供了跨越式的发展潜力。
大数据的精细管理永无止境,其原因在于随着大数据的作业模型的不断改进与拟合,对大数据的研判、分析、处理与应用也在不断进步。以我国的目前的状况而言,我们并不缺少大数据,缺少的是对于大数据的真正的精细管理。大数据的精细管理工具首先要从数据采集工作开始,数据的采集越详细,所得到的资料越完备,这样在对数据进行分析处理时才能够得到更多的有用的信息。我国目前许多大型互联网行业都十分重视基础数据的采集,因为,基础数据的采集对于未来的数据精细管理至关重要,对于后续的强化的数据分析举足轻重。下面试举一例,说明大数据的精细管理对于企业的重要价值。例如:原来做库存周转分析时,一般每月做一次产品大岁愁的周转分析。现在,借助信息系统收集的数据,已能够细至每一天、每一种物料、每一次进出库、每一个批次的数据,系统是否就可以结合次日的生产销售计划计算出即时的细到每一个库存量单位的存货周转率。这种精细的分析就赋予了数据新的意义和作用。
4.大数据时代数据挖掘与数据精细管理的意义。大数据时代无论是数据挖掘还是对于数据的精细管理都有着任何其他工作所无法替代的非凡的意义,因为透出对于大数据的分析,我们可以针对现有的企业决策提供以强大数据支持的决策意见与建议。目前,几乎所有的世界五百强的企业中管理建议的提出无不需要数据做为其理论依据,即便是我国国内的中小企业在分析问题、解决问题时也已经开始倾向于数据说话,不掌握大量数据是无法提出科学合理的建议的。此外,数据量积累到了一定程度,数据自己是会说话的,这时,通过对这些数据的在线分析与处理之后就可以从这些海量的数据中发现企业所需要的商机。海量的交易数据中隐藏着客户的喜好与市场细分化的细微的差异性以及市场未来的可能的发展趋势,这些对于企业的生存发展都具有着极其重要的意义,哪个企业更加了解市场,哪个企业更加接近市场,哪个企业就将从竞争中脱颖而出。我国的传统的数据管理思维方式仅汉关注于静态程序所预先提供给企业的几项固定的内置功能,这些预先内置的功能所能够带给企业的帮助十分有限,企业必须还必须依靠海量数据的分析以更好地为客户服务,更好地占领差异化市场,更好地完善企业内部的各项工作。
二、数据深度挖掘初探
基于大数据的深度挖掘源于企业对于大数据资源开发的迫切需求,任何拥有大量宝贵数据资源的企业都希望从其所拥有的宝贵数据资源之中提炼出有益的信息与线索。深度数据挖掘通常包括数据准备工作、数据挖掘工作以及结果表达与解释工作。数据挖掘过程中的所使用的主要手段包括关联分析、聚类分析、分类分析、异常分析、特异群组分析以及演变态势分析等。
运用某一数据中的差异性建立分类模型,比如建立企业客户的购买数量的分类时可以将客户按照数量划分为大宗VIP客户、大客户、中客户、小客户、散户。分岁愁的作用十分明显,就在于能够在细分化的状态下找到更有价值的客户群体并对其实施行之有效的针对性营销。在进行正式的分类之前可以先进行一个估计的过程,可以使用估计的数值对于目标数据进行预分类,然后再根据阈值进行修正,直到阈值达到尽善尽美的程度为止。
预测是数据深度挖掘的不可或缺的手段之一,预测亦是较之分类等更为高级的数据挖掘应用过程。因为预测不仅要对大数据进行估计,还要对大数据进行准确的预判。这就需要对大数据集及其所代表的现实世界进行建模与抽象,以模拟的手段得到大数据的基本模型,这一基本模型必须进行信度与效度的检验,并应排除各种能够推翻模型的可能。建模只是模拟数据的产生过程,通过这一过程即可对于未来的趋势进行较为精准的预测。虽然过去大数据只能代表过去,但是由于我们已经模拟了其产生的基本机制这就使得预测未来成为可能。过去与现在的数据之所以弥足珍贵是因为这些数据之中已经在孕育着未来。预测是如此的复杂,以至于据目前的不完全统计,各种预测模型已经多达百余种,即使是最常用的也在数十种。由于现实的情况十分复杂,因此,这里需要指出的是,虽然预测技术已经取得了突飞猛进的发展,但是,科学来说,任何预测都无法替代现实。而且任何既有的预测模型都不如为既有数据量身定造出来的模型更符合当前的业务。目前已知的可以运用于企业级应用的预测模型包括:多元回归、非线性回归、趋势分析、AR模型、MA模型、序列、灰度、指测等等预测模型。矩阵实验室、SPSS, SAS等专业级统计应用软件包为深度数据挖掘提供了便利。
三、数据精细管理浅析
如果说对于大数据的深度挖掘赋予了企业非凡的洞察力的话,那么精细的大数据管理则为企业提供了可持续发展的数据管理方面的保障。我们通常会定义大于百T的数据量为大数据,如此庞大的数据量以目前的科技发展水平不太可能出现于寻常百姓之家,甚至某些中小企业数十年的数据量也达不到这种水平,因此,大数据的精细管理目前仅限于大型企业,尤其是互联网或其他高科技企业。无论是以利润为中心,或是以客户为中心,大数据的精细管理都可以转换为企业发展的一种潜移默化的推动力量。大数据精细管理为管理工作提供了“有据可依”的监察与管理基础,同时大数据精细管理也为差异化竞争提供了原始理论的强而有力的支撑,从数据挖掘的角度来看,大数据的精细管理也为数据挖掘的顺畅进行提供了强劲的“数据枢纽”的作用。
随着经济发展的趋缓态势在我国企业中的全面显现,我国的越来越多的大型企业开始出现了“销售增量不增收”的尴尬局面,虽然大的经济环境对此责无旁贷,但是,我们也应该看到大型企业由于大数据的精细管理存在着严重问题而导致的企业主营业务缺乏方向性、缺乏针对性,企业的多种经营业务缺乏导向性、缺乏向心性等方面的问题。
四、结语
大数据时代的概念的出现截止目前为止虽不过才短短数年的时间,但是由其引发的数据时代的挖掘与管理革命已经发展得如火如茶。这不仅反映了我国的大型企业的数据触角已经十分灵敏,也从一个侧面印证了大数据时代数据挖掘与数据的精细管理的划时代的意义。
转载请注明出处:拓步ERP资讯网http://www.toberp.com/
本文标题:刍议大数据时代的数据挖掘与精细管理