1引言
大数据无疑是2012年科学技术领域最热门的一个术语。在IT领域，它也是继高性能计算机、互联网、网格计算、云计算之后又一被大众所关注的技术术语。从某种意义上而言，大数据已经远远超出了技术范畴，变成一个赋予各种意义的流行词。大数据这三个字本身传递的语义信息很有限，“大”和“数据”都是极其常用的词，两个词组合起来，字面上也没有办法直接表达出确切的特定含义。我们认为，这正是大数据这个词语的妙处所在，它使得不同领域、不同背景、不同身份的人可以用同一个术语来表达自己的思想。也就是说，不同的人可以从不同的角度有各自不同的解读，加之媒体连篇累犊的报道使得原本就不甚清晰的概念变得更加扑朔迷离。但总的来说，它至少给人们传递了一个重要的信息，那就是，信息技术的发展由“计算”转向了“数据”。长期以来，数据库处于数据管理领域的重要地位，因此有必要从数据库的角度对大数据以及相对应的大数据研究进行比较详细的
解读，厘清一些似是而非的概念，这就是我们撰写本文的口的所在。
在开始从数据库视角解读之前，首先来看看其他专业人士群体对大数据的理解。谈论大数据的群体大约可以分为三类:第一类是战略科学家，包括科技管理专业人士和政府官员。这很容易理解，数据中蕴含着无穷的价值，关乎社会经济和民生发展乃至国家安全，数据是重要的战略资源，对数据的拥有以及对数据价值的有效开发决定一个企业、一个机构和一个国家的核心竞争力。第二类是IT产品提供商，包括技术和产品提供商，信息系统集成和解决力一案提供商，还有信息服务提供商。大数据是个很亲民的词语，没有拗口的发音和故弄玄虚的复杂语义，作为产品和服务的崭新标签再合适不过。技术、产品和服务的演变是渐进的，在这个追逐日新月异变化的时代，IT产品提供商往往喜欢为产品打上时髦的标签，在当前，大数据是厂商们的不二选择。在此之前，digital internet、 web,grid 、 cloud等都被他们用来做过标签。第三类就是科技人员，主要是那些希望利用大数据使当前从事的研究力一向取得新突破的科学研究和技术开发的专业人士。现在的科学研究和实用技术绝大多数都是和数据直接或问接相关的，把所从事的研究和开发工作归结到大数据范畴，不但可提高层次，赋予研究和开发工作新的使命，也可以让大众更容易理解其意义。从这个意义上来说，大数据这个概念就像一把伞，可以把原本互不相交的概念罩在一起，形成一个新的概念。
我们把时问回退到2012年底，仅从12月当月媒体的相关报道就可略见一斑，了解大数据深入人心的程度。据2012年12月2日的参考消息报道，在美国的2012十大流行词评比中，“大数据”名列第二，第一是美国人最为关心的政治事件“财政悬崖”。关于大数据的描述，翻译好的原文是这样的，“最简单讲，这是用来形容如今产生的海量数据的 一种力一式，我们生活在大数据时代。具体一点来说，大数据所指的数据集既可以无边无际得让我们无从发掘有用的信息，也可以翔实全面得让我们能做些全新的事情”。关于神州大地的大数据之热难以详述，仅通过当月的两则报道做以折射，据2012年12月14日光明日报报道，陕西西咸新区规划国内首家大数据产业园。报道称，为迎接大数据时代的到来，推动大数据产业的发展，陕西省西咸新区洋西新城规划了国内首个大数据处理与服务专业园区，在全国率先举起大数据产业旗帜。就在同一天，在我国改革最前沿的广东省的2012广东互联网大会上，广东省通信管理局副局长蔡立志说了一句让现场与会观众振奋的话，“(广东)省委省政府、各级市县政府对于信息互联网很重视，省政府层面也要成立大数据局”。2012年12月15日的羊城晚报对此事的报道引起了广泛关注。
在这样的背景下，我们想以开放的态度，站在数据库研究者的角度，从以下几个力一面进行大数据的解读。首先讨论大数据是个什么样的概念，说明它是如何诞生的，作为一个概念，它有什么样的内涵和外延。其次是讨论与大数据相关的一些热点问题，比如说，云计算与大数据的关系，大数据与非结构化数据的关系，NoSQI二与大数据管理技术等。我们还会重点回顾Hadoop的发展历史，分析其技术本质，从而深入分析它在大数据管理中的贡献和地位，说明Hadoop只是大数据管理的一个成功案例，它和传统数据库一起为新形势下的大数据管理提供了思路上的启发。然后，通过对传统数据库发展历史、根本口的以及发展成就的回顾，说明大数据和数据库的发展是一脉相承的，大数据研究是传统数据库回到起点后的重新出发，这个原点就是文件系统。最后，陈述我们对于大数据研究的理解，分别针对Web数据、决策数据和科学数据三类大数据，说明大数据研究是典型的应用驱动的，应该根据现实的应用需求确定可能的研究力一向和研究内容。结束语部分给出了一些关于大数据研究的观点。
2大数据概述
2.1什么是大数据?
这是个很自然的问题。从认识论的观点来看人们总喜欢用类比的力一法来学习，利用己有的一些概念来理解新的概念。海量数据(信息)是不是就是大数据?数据密集型计算所涉及的数据是不是就是大数据?非结构化数据是不是就是大数据?在学界和业界都很受待见的“Hadoop +HDFS +Map/Reduce”是不是就代表了大数据技术的全部?还有，云计算和大数据有什么样的关系?要回答这些问题，我们就从大数据概念的诞生谈起。
2. 2大数据概念的诞生
大数据概念的提出可以追溯到20年以前，但引起关注是近几年的事情。2008年9月4日《自然》(Nature)组织了一个名为“Big Data”的专题。2009年7月O'Reilly Media出版社出版了一本名为"Beautiful Data'，的书。2009年10月微软为纪念2007年1月在旧金山湾区大海中失踪的图灵奖获得者Gray J，出版了一本名为“第四范式一数据密集的科学发现(The Fourth Paradigm-Data Intensive Scientific Discovery)"的著作。Gray J是数据库领域获得图灵奖的第三位科学家，他在事务处理领域做出了杰出的贡献，奠定了现代数据库管理、系统理论和技术基础。作为计算机科学家，Gray J生前在科学数据管理和分析力一面是开拓者和先锋:NASA的太空和海洋观测数据系统是他领导设计的;主持了著名的全球射电望远镜联合观测系统和外星生命探索系统的设计和实施;领导了谷歌公司的Google Earth系统的开发和使用。这就是为什么在他2007年1月28日驾驶游艇前往Farallone岛的途中毫无迹象的失踪后，美国海岸警卫队在立即开展了三天全面彻底专业的搜寻无果后宣布放弃，而NASA和Google还继续用他们的系统进行了长达数月的搜寻。
在国际上，2011年2月11日发生的两件事可以用来说明大数据在当前科学研究和信息服务中的重要性。这一天在美国出版的《科学》(Science)杂志刊登了一个名为数据处理(Dealing with Data)的专辑，《科学》还联合《科学一信号传导》(Science; Signaling)《科学一转化医学》( Science;Translational Medicine)和Science Career、推出相关专题，其主题是围绕口前科学研究数据的爆炸式增长展开讨论，说明大数据对科学研究的重要性。也在这同一天，在美国很受欢迎的智力竞答节目“危险边缘(Jeopardy)”电视节口中IBM的“沃森”计算机以绝对优势战胜两名人类顶级选手，这使得继“深蓝”计算机1997年战胜人类国际象棋大师加里·卡斯帕罗夫后再次引发关于机器能力的关注。和14年前的“深蓝”相比，“沃森"除具有超群的计算能力外，更拥有超大规模的数据处理能力。
在学术界，2012年3月29日也是一个特殊的日子，在这一天，美国总统科技政策办公室OSTP(Office of Science and Technology Policy)宣布了每年投资两亿美元的“大数据研究计划(hig Data R&D Initiative)"，这一整合了NSF, NIH等部门原有计划的研究计划在国际上产生了重大的影响。同一天，我国科技部发布的“‘十二五’国家科技计划信息技术领域2013年度备选项口征集指南”把大数据研究(主要侧重在存储力一面)列在首位。美国大数据研究计划的宣布使大数据热达到一个高潮。
从以上的描述可以看出，大数据最初主要讨论的是与科学发现有关的数据，也就是我们说的科学数据，这也是为什么包括我国政府在内的各国政府高度重视的原因所在。在当前，国家问的竞争主要是科学技术的竞争，如果大数据研究的部署有助于提升科技能力，相信每个国家都会大力支持。但是，“大数据”发展至今，己经超越了科学数据的范畴，成为一个时髦的术语(Buzzword)，成为工业界与学术界共同关注的热点。从另外一个角度来看，“大数据”很好地概括了当前数据管理领域问题的重要性和多样性，说明数据问题在研究和应用上具有空前的深度和广度。也就可以说，大数据是个合适的伞(Umbrella)，它有较广的覆盖面。大数据将信息技术的重点转移到数据力一面，但己经大大超越了传统数据库的理念。
2. 3大数据概念的内涵和外延
大数据这一概念的内涵可以用大数据的4V特点:Volume、Variety、Velocity Veracity，来描述。第一个V是说的数据量，从TB级别跃升到PB级别或更高的EB级别。第二个V的含义是数据类型繁多，来源各异。来自网络的网页、日志、图片，来自传感器的监测数据、视频信号、地理位置信息，来自日常运营系统的各类信息等等组成了一个大数据集。第三个V是讲处理速度或是说响应速度。很多应用提出了实时响应的要求，或是实时反应(Human Realtime)的要求，比如说一些公共设施的安全监测系统和服务系统的安全监察系统，就需要及时地反应。第四个V是讲数据的可信性和可用性，产生数据的技术手段和力一式越来越多，设备的准确性、系统的一致性会对数据的质量产生重要的影响，特别是各种UUC:(用户生成内容)的质量问题更加严重，如何保证数据的可用和可信至为关键。这些都是传统的数据库和数据仓库时代没有的问题，这些特点决定了大数据的内涵。
描述一个概念的外延往往是通过枚举那些属于这一概念的实例来进行的。可以认为，与应用密切相关的各类数据都属于大数据范畴，大数据强调支持实际应用所涉及到的多个来源且相互关联的大量、高速、异构数据。从生产生活中的用途来分，所涉及的生产数据、设计数据、统计数据是大数据;用类型来分，数据库和数据仓库中的结构化数据、文件系统中的文本、多媒体数据、各种文档数据也都是大数据;大数据的例子还包括网络日志、RFID数据、传感器网络数据、社交网络数据、互联网搜索索引、呼叫详细记录等。诸如天文学、大气科学、基因组学、生物地球化学、生命科学和其他复杂或跨学科的科研实验和观测数据，军事侦察、医疗记录、摄影档案、视频档案和大规模的电子商务系统产生的数据都是大数据。物联网、云计算、移动互联网、智能手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的力一式。其实，世界上凡是可以表达出来的信息都是数据，当为了一个具体的应用而需要把大量的不同类型、质量各异的数据及时进行处理时，这些数据就进入了大数据的范畴。
2. 4大数据的分类
要讨论上述种类繁多的数据，从认识论的观点出发，首先就是要建立数据谱系，进行分类。对大数据进行分类很有必要，这是确保大家在讨论同一目标的前提。我们认为，大数据大致可以分为三类:Web数据、决策数据和科学数据。顾名思义，Web数据是与Web相关的数据，包括网页、链接、日志等具体类型，门户网站、搜索引擎、社交网络、电子商务等以Web形式呈现或以Web为载体的新型信息服务系统产生的数据大多可以归纳为此类型。决策数据主要指以前由传统的数据库和数据仓库管理的数据，也即商务智能(BI)数据。科学数据是指各种科学活动中所产生的数据，包括科学实验数据、科学观测数据、科学文献数据、设计数据等等，非领域专家难以染指，即使IT专家自创一套，也很难得到领域专家的认可，
生物信息学就是一个例子。
按照以上分析，我们可以把大数据的分类用图1来示意。
图1.大数据的分类
就Web应用而言，传统的电子商务系统和搜索引擎应用以及正在兴起的社会网络和社会计算是典型的“以数据为中心”的应用。电子商务和搜索引擎厂商己经经过了早期的粗放式的、仅仅依靠创新的商业模式就取得成功的发展阶段，他们的核心业务己经变成了商品推荐、客户关系管理、促销策略设计、广告关键字竞标、广告投放等。而这些业务完全依赖于海量的客户行为数据以及Web内容和结构数据的分析。社会网络和社会计算则是更加综合性的应用，交互性更强，数据的产生和来源也更多。其成功的商业模式必然需要精细的快速的数据处理和分析。除了商业应用外，社会网络和社会分析对于政府把握民众意愿、了解社会热点问题、改善管理、及时化解社会矛屑等具有重要的意义。
在商务智能力一面，随着技术的进步和理念的更新，大型数据中心的建设己被大型跨国跨地域企业、政府服务机构提上议事日程。在我国，中石油、中石化等大型企业以及各大银行己有各自的数据中心。业界提供的服务计算和云计算架构以及相应的技术为大型数据中心的建设提供了技术途径，政府或半政府的机构为推进中小型企业这一创新群体的发展也正着手建设公共的云计算数据平台，把中小型企业从繁重的信息管理中解脱出来，以便他们降低成本，集中力量发展各自的主业。在我国，物联网技术的推广应用所带动的智能电网、智能交通、智能医疗保健等事业的发展依赖于大型数据中心和新型商务智能能力的建设。
针对科学研究，科学实验数据的共享以及跨地域的科学协作研究在互联网时代己经成为一个潮流。传感器网络等各种数字化科学数据采集手段的发展使得科学实验数据的产生更加便利、全面和及时。在互联网环境下对海量的科学数据和科学文献进行集成和分析并支持协同合作研究是我们面临的一个重要问题。
大数据研究的显著特征是它与应用密切相关。我们用图2来说明大数据的应用场景。
图2.大数据的应用
3与大数据相关的几个热点问题
人们经常会问，大数据是不是就是非结构化数据?云计算与大数据有什么关系?NoSQL二是不是就是处理大数据的技术等等问题。从认识论的观点来看，这是自然而然的问题，通过与熟悉事物的比较来认识陌生的事物是人们常用的学习力一法。这也是为什么不同知识背景的人对同一事物有不同认识的原因所在。本节我们尝试回答上面提到的这些问题。
3. 1非结构化数据与大数据
首先我们要弄清楚什么是非结构化数据。个平凡的答案是:那些除了结构化数据以外的数据就是非结构化数据。这样问题又变成了，什么是结构化数据?这便触及到了数据库的核心。
从某种意义上来说，结构化数据和非结构化数据并无截然的界限，而是因为人们对数据的认识程度不同所致。数据本来就是对客观事物的一种表达和表示，结构化数据指的就是那些有组织的数据，也就是那些表示可以按照某个模型组织起来的数据。所以说结构化数据就是数据可建模，通过数据建模进行语义抽象，从而达到模型和实例分离的口的。在数据库领域，这是一个基本理念，要有一个数据模型。数据库人说的数据模型不是泛泛而说的那种模型，正如数据库本身也不是泛泛的概念，它们都有独特的含义和理论背景。数据库中讨论的数据模型由三部分组成，分别是数据结构、操作符、完整性约束。数据结构就是数据字面上的表示，或者说词法意义上的表示，数据的语义是通过数据结构上可支持的操作符，以及这些数据结构在变化过程中所需遵循的完整性约束来体现的。这在关系数据库中体现得非常贴切。二维表结构就是关系模型的数据结构，简单明了;关系代数操作就是二维表数据结构上的操作符，一共有五个基本操作符，相当于操作原语，其他的所有复杂操作均可以由这五个基本操作组合完成，也就是通过构建一个关系表达式来完成。关系数据模型中的完整性约束，除了我们所知道的实体完整性、参考完整性等可以命名的完整性以外，还有很多其他完整性，他们代表了数据库实例在修改时要遵循的原则。实体完整性和参考完整性可以通过主键和外键的形式来说明，其他类型的完整性约束在关系数据库的数据定义语言中可以通过断言、触发器的形式来说明。关系数据库中的范式理论和函数依赖也是关于完整性约束的，是一种很漂亮的语义抽象。函数依赖这一类广泛的完整性约束很大程度上通过数据库模式设计来体现，我们在数据设计中追求Royce-Codd范式和第三范式，其本质就是当
设计出的关系模式达到这些范式级别后，属性问的函数依赖关系就蕴含在其中了，不需要再在数据定义语言中去显式说明。这是为什么说关系数据模型优美漂亮的一个重要原因。当然，关系数据模型具备的集合论和一阶谓词逻辑数学基础也是一个重要原因。
那么，为什么数据的结构化如此重要?这个问题就像为什么结构化程序设计、强类型程序设计语言很重要一样。数据有了结构以后，数据管理可以简单化，因为结构化数据虽然实例(相当于关系数据库中的Instance)很多，但往往容器(相当于关系数据库中的Schema)很少，通过模式(Schema)来管理大规模的数据要容易很多。此外，有了模式级别的元数据，对于数据上的各种操作可以通过表达式等价的变换来进行有效优化，从而保证查询处理的高效性，让人们摆脱对数据库内部细节的了解。
相对数据库中结构化的数据，有关非结构化数据的研究也一直没有停息过。数据抽取、数据抽象等都是在非结构化数据上进行语义抽象的尝试。我们所熟悉的文本数据上的文本检索系统(TRS) ,信息检索(IR)、自然语言处理(NLP )，以及音频、视频、图像等其他多媒体的处理力一法研究，都是长期以来一直在非结构化数据上的探索。我们耳熟能详的特征选择或特征抽取，也就是指在非结构化数据上进行语义抽取。所以，非结构化数据对我们而言毫不陌生，并不是因为有了大数据，大家才恍然大悟要开始对非结构化数据进行研究。 突然之问会有人觉得非结构化数据特别重要，理由就是，有统计显示我们这个世界上百分之八十的数据为非结构化数据，它们无法整齐划一地存储到结构严格的表格行列中。值得提醒的是，很多事情都遵循所谓的80-20规则。应用到大数据上面，得出的结论就是，百分之八十的非结构化数据产生百分之二十的价值，而百分之二十的结构化数据产生百分之八十的价值。这个现象有其合理性，它说明了为什么人们把研究热情转向非结构化数据。结构化数据产生了绝大部分的价值，但其价值几乎挖掘殆尽。而绝大多数的非结构化数据虽然只产生小部分的价值，却还是一个有待深入挖掘的“金矿”。这里我们还想特别指出，非结构化数据的长尾现象。随着非结构化数据研究的深入，相信一部分非结构化数据会被纳或靠近结构化数据范畴，从大量针对应用问题的解决力一案中抽象出非结构化数据的组织模式、结构和模型，这意味着其使用价值被允分挖掘;从技术上而言，就意味着管理这些非结构化数据的理论和技术会趋向成熟。
我们用图3表示非结构化数据的长尾现象，其中横坐标为数据量/非结构化程度，纵坐标为不低于该非结构化程度的数据量产生的价值。非结构化数据量在激增，人们对大数据的兴趣也在日益浓厚。
图3.非结构化数据研究的长尾现象
3. 2云计算与大数据
近几年来，云计算在我国的发展风起云涌、方兴未艾。从技术上而言，云计算被认为是自计算机出现以来，继大型主机、个人电脑、互联网之后信息技术领域的最新一次重大变革。 Amazon和Google是其始作俑者。随着云计算技术的突破和应用的推广，我们可望实现一种崭新的计算模式，进而影响人们生产和生活的各个力一面。我国作为新兴的发展中大国，信息化作为倍增器，一直在经济和社会发展中起着重要的作用，尤其是在当前经济转型发展的关键时期，云计算作为新型信息化的手段和模式正在被创造性地应用。政府部门、电信运营商、交通物流、科学研究、文化传媒、医疗卫生、教育培训等都己开始尝试用云计算的模式进行信息化创新实践。
虽然云计算和大数据是沿着不同道路发展而来的，两者在技术和应用上有着相辅相成的关系，云计算强调系统提供服务的力一式，它提供的服务离不开它所能承载的大数据;为了解决大数据的挑战，云计算架构和模型是一个可行的力一案。云计算遭遇大数据，这是时代发展的必然趋势。
3. 3 NoSQL与大数据
NoSQI二运动近几年风头正劲，它是在大数据概念风靡之前就己经出现的一个现象，可以看作是大数据风暴的前奏。这场运动最终会对数据库的发展产生什么样的影响?NoSQI二会终结关系数据库吗?是否会有基于非关系型数据库的厂商异军突起，改变市场的格局呢?下面，我们试着回答这些问题。
首先，NoSQL二是一个非常模糊的概念，泛指一切和传统关系数据库或关系—对象数据库不同的技术。它包括了非关系数据模型(也被称为Norrschematic数据库、非结构化数据库等等)、非ACID事务模型、分析型和搜索型应用、大规模集群上的DBMS或类DBMS实现等很多概念。No-SQL二和传统RDBMS之问可能更多的还是互补关系。RDBMS不适合一些新兴的应用，但在一些传统领域，如金融、电信，仍然能很好地工作。No-SQL二的应用口标仍然很分散—不同的应用对NoSQL二的不同技术有不同的需求。因此，现在我们对NoSQL, DBMS还很难给出一个完整的定义，很难说这样的DBMS能够弥补所有RDBMS的不足、适用于所有RDBMS不适用的环境。从技术上看，通用的NoSQL, DBMS的实现也有很大的难度。但另一力一面，随着应用的发展，RDBMS不适用的环境正越来越多，这将是非关系型数据库厂商的机会(但同时也是RDBMS发展的机会)。当然，这里还有很多技术以外的因素。
数据库系统的先驱，著名数据库学者Stone-braker M教授对于NoSQL二有这样的总结:No-SQL二适用于非事务型和可交换(Commutative)的单记录事务处理，但它不适用于新型OLTP应用。因为系统类型很多，应该针对应用选择合适的系统。此外，NoSQL二系统的查询语言与SQL二非常类似。他承认NoSQL二系统的成功，但也认为N o-SQL二并不适用于所有应用，不是大数据处理的全部技术。这正是新型面向在线事务处理OLTP应用的数据库(NewsQL,)的出发点,NewsQL二代表 一类现代RDBMS,旨在针对Web应用中的OLTP工作负载提供NoSQL二系统所能达到的可扩展性，而保持传统单一节点数据库系统的ACID事务特性。
3.4 Hadoop与大数据
Hadoop在处理网页数据等力一面取得了巨大成功，经过几年的发展，从一门边缘技术成长为一种事实上的标准，甚至在大数据领域出现言必称Hadoop的现象，Hadoop俨然成为了大数据的代名词。我们有必要专门来回顾一下Hadoop的发展历史和成功经历。21世纪初，谷歌公司的几位年轻研究人员用廉价PC搭建了大型的MPP系统，成功解决了搜索引擎所需要的大型文件系统的管理和操作问题，随后分别于2003年、2004年和2006年在操作系统两个著名的学术会议SOSP和OSDI上发表了有关GFS (Google文件系统)、Map/Reduce(编程环境)和BigTable(数据模型)的论文。
这三篇奠基性的论文促成了Hadoop的诞生。2004年，Cutting D和Cafarella M J根据Google Lab论文实施，取名Hadoopo Cloudera公司推出了Hadoop商用版(Apache开源版)。2005年秋天，Hadoop由Apache作为Lucene的子项口Notch的一部分正式引入。随后在2006年3月Map/Reduce和Notch Distributed File System(NDFS )分别被纳入Hadoop的项口中。到了2006年，Yahoo推出了WEB-scale Hadoop !。随着应用和开发的深入，Hadoop形成了自身的生态圈。在0.20及以前的版本中，Hadoop Common包含HDFS、Map/Reduce和其他项口公共内容，从0.21开始HDFS和Map/Reduce成为独立的子项口。Map/Reduce是分布式并行计算框架，是Hadoop的核心。HDFS所起的作用就是使得每个服务器必须具备对数据的访问能力，而Pig编程语言则简化了Hadoop常见的工作任务，Pig可加载数据、表达转换数据以及存储最终结果。2006年，HBase ( BigTable)分布式列存储数据库成为Hadoop子项口，2010年5月升级为顶级Apache项口Hive (Facebook)数据仓库工具，它架构在HDFS之上，增加静态数据结构，力一便进行数据分析查询，2008年9月成为Hadoop子项口。Zoo-keeper (Facebook)则是分布式锁设施，它提供类似Google Chubby的功能。Avro是一个新的数据序列化格式与传输工具，2010年5月成为顶级Apache项目。
Hadoop在数据管理中到底处于什么样的地位?Hadoop实质上是一个可以更容易开发和存储大规模数据的软件平台，帮助用户快速、低成本地实现大数据的存储、管理及分析查询。Hadoop由Map/Reduce和HDFS两个关键部分构成，Map/Reduce 可实现高性能分布式并行数据处理，HDFS提供可靠数据存储服务，低廉MPP高容错、高通量、可伸缩，用户可在不了解分布式底层细节的情况下开发分布式程序，允分利用MPP的能力。
随着用户对大数据存储、管理和分析需求越来越迫切，传统数据库对非结构化数据几乎无能为力。利用传统数据库对大数据进行处理时，会面临很多难以解决的问题。首先是软、硬件平台的要求高，成本压力大，并且成本和收益很难匹配。而同时，用户希望允分发掘和利用非结构化数据背后的商业价值，能以更经济的力一式、更好的性能来处理数据，从而推动业务创新。
Hadoop在类似搜索引擎的查询并行化分析处理领域取得极大成功，其本质是提供了一种针对大规模数据密集型应用的编程范式(Programming Paradigm)，使人们摆脱对于底层分布和并行的操作。它所基于的BigTable和HDFS是非常质朴的数据模型和存储系统，适用领域有限。尽管它的成功为大数据研究打开了思路，但绝不代表大数据技术的全部(仅是一个case)。它促使人们回到文件系统这一数据库的起点来重新审视数据管理之口的。尽管Hadoop在处理网页数据等力一面取得了巨大成功，但它有自身的弱点，Hadoop是一个离线的、批量的数据处理系统，而实时在线(严格事务，高效分析)仍是数据库的擅长。从数据存储的角度来看，HDFS专门针对大文件的存储，等待时间较长，无法做到很高速的随即读写。人们也曾探索过将Hadoop和数据库结合起来应对大数据的挑战，但这还不是口前企业中现实、经济的解决方案。
4从数据库角度看大数据研究进展与趋势
4. 1数据库发展回顾
大数据研究是数据库回到文件系统这一原点后的重新出发。我们有必要站在更大尺度的时问轴上来重新审视数据库的辉煌发展历史。
(1)数据库的发展历史。
1965年，数据库领域第一个获得图灵奖的计算机科学家Bachman C 发表了他的重要论文“Integrated Data Store"，向世人介绍了世界上第一个数据库系统IDS。这一事件标志着数据库的诞生。IBM公司1968年推出基于层次模型的数据库系统IMS。那时，数据库概念基本形成，紧随其后，数据系统语言会议CODASYL(研究COBOI二扩展数据功能的会议)专门组织了一个数据库工作组DBTU。在著名的DBTU报告中，定义了我们现在所熟悉的几乎所有的数据库相关概念。这个报告实际上是提出网状数据模型，试图克服IMS需要对数据存储结构底层细节了解才能进行数据访问的缺点。虽然这个报告中的网状模型没有广泛地在数据库系统产品中得到实现，但它对现代数据库系统体系结构和概念的形成有着不可磨灭的贡献。 1970年6月，当时在IBM工作的Codd E F在CACM发表了关于关系数据库模型的第一篇论文，由此，数据库技术的发展进入了一个崭新的阶段，数据库系统的使用遍及信息化领域的
方方面面，并深刻地影响着人们的生活。
(2)数据库的三大成就。
四十多年来，数据库领域具有里程碑意义的三大事件分别是关系数据模型的提出、查询处理和优化技术的发展、事务管理技术的进步。关系数据库因为其模型简单、理论完备，使得数据库家喻户晓，形成了数百亿美元的市场。查询优化也是伴随着关系数据库而产生的。在关系数据库以前，数据访问通过程序设计者在纷繁复杂的数据结构中说明访问路径来完成，我们说这是用户导航式的数据访问。关系数据库的优点就在于用户只需要说明“想要什么”而不需要说明“怎么做”，这里的“怎么做”就是数据结构中的“导航”，用户不管“导航”，系统就得负责。在IMS盛行的时代，最初实现的RDBMS效率很低，被讥笑为“Toy System"。这一局面得以改变，就是依靠查询处理和优化力一面的极大进展而实现的。具体而言，就是通过访问路径的优化选择保证CPU、存储空问和其他成本的性能优化。在这其中，索引技术也举足轻重，技术得到全面突破。在事务管理力一面，事务管理模型和事管理关键技术的突破，使得支持大量用户并发访问成为现实，并有效地支持了数据库恢复和保护机制的实现，从而把数据库系统打造成一种全面、实用的系统。
4. 2数据库技术面临的挑战
传统的数据库技术在20世纪80年代己基本成熟，其标志是产业的发展和壮大，特别是几大数据库厂商的出现。数据库的概念深入人心，数据库建设的重要性毋庸置疑。几乎在同时，数据库领域自身以及实际应用领域的专业人士允分意识到传统数据库技术的局限性。在关系数据库理论基本完善之后，人们很快就开始了对新型数据模型的探索，提出了二元数据模型、语义数据模型、图数据模型、逻辑数据模型、面向对象数据模型等等。实际应用中的“材料单BOM(Bill of Material)”问题、传递闭包问题也是经典数据库技术无法解决的。值得一提的是，演绎数据库和面向对象数据库的研究定程度上增强了传统数据库的能力。
除数据模型和以上提到的具体应用问题以外，数据库面临更多更大的挑战。举例来说，数据的OLAP要求能快速多粒度地从历史和现实数据中分析出对决策有帮助的结果，这和数据库系统所擅长支持的在线事务处理(OLTP)应用差别很大。数据仓库技术就是针对这类应用提出来的，几年来取得长足的进步。另一个例子是数据流应用，现实中不是所有的数据都需要保存在数据库系统中然后再进行处理的，譬如，检测或监控系统采集的数据，很多是不需要或无法全部保存下来再进行分析处理，一是数量太大、保存意义不大，二是现实应用
中需要及时反应(报警或报告)，不容先存入数据库中然后再来分析。21世纪初开始兴起的数据流技术就是用来解决这一类应用问题的。数据流在其他领域也被称为实时复杂事件处理技术CEP。再一个例子就更容易理解，广泛而言，数据库是来管理数据的，所有有数据的地力一就应该有数据库。Web是典型的有大量数据的地力一，科学实验数据也一样。数据库如何来管理这些数据是一个挑战。这些场合的数据具有如下特点:数据量大、数据结构复杂、数据来源多样，还有就是这些数据的用户群规模大、需求各异。针对这些应用，人们深入研究了XML/RDF半结构化数据管理技术、智能数据集成、按列存储数据管理、分布式高可靠的存储和并行计算技术，提出了相应的解决方案。
4. 3大数据研究的问题与难点
数据库领域面临的挑战正是大数据研究的起点。从这个意义上来说，大数据是传统数据在“V"维度上的扩展，大数据应用是传统数据库应用的自然延伸，大数据技术是传统数据管理技术的自然发展。
从数据库工作者的角度看大数据的研究，我们认为，大数据的基础研究主要包括:(1)大数据分类学;(2)大数据全生命周期管理；(3)大数据质量管理。应用是引发大数据概念的根源，大数据的基础研究包括从数据本身、应用需求和计算环境等多个维度研究大数据的分类、共性特点以及数据资源化管理的相关理论和力一法。研究思路和力一法可参考和借鉴图书情报学科的兴起和发展历史。由于大数据是个覆盖面很广的概念，除了要研究大数据的共性特点外，还很有必要从数据来源、数据类型、数据应用等角度全面综合分析，研究大数据的分类;大数据概念的一个很重要的内涵就是数据的共享和使用，Data Curation(暂译为:数据监护)指的就是研究数据从产生、标注、存储、共享和使用等全生命周期的数据管理和维护，这类似于图书馆的作用;大数据因为共享和使用而引发数据的加工和衍生结果，数据溯源(Data Provenance)和数据世系(Data Lineage)研究旨在保证数据使用的质量;由于大数据的共享应用特点，访问用户的不确定性和服务提供者之问的数据共享，使得大数据的存储和访问不同于传统的处于可信域的数据的存储和访问，特别是针对不同社交网络中用户身份标识信息等敏感数据的安全访问控制研究，是保证大数据安全应用的前提条件之一。
大数据研究的主要技术难点包括:(1)大数据语义建模;(2)大数据分析功能/性能均衡;(3)支撑大数据处理的硬件/存储体系结构。大数据的基本特点是数量巨大、来源各异、结构复杂，还有就是很多具体应用要求响应时问很短。针对数据来源多样以及数据结构复杂的特点，数据建模不仅要考虑单一来源、单一类型数据的语义抽象，而且还要考虑不同类型、不同来源数据问的联系。传统的语义数据模型的己有成果存在许多值得借鉴的地力一，但时下所面临的数据建模的复杂程度是前所未有的，必须深入分析具体应用需求、做精致的剪裁，才有可能提出有效的在限定应用范围内适用的数据模型。对大数据进行分析处理，发现其中蕴含的知识，从而理解和使用数据、支持以数据为核心的应用，是大数据研究的重要任务，随着大数据的兴起，云计算也正在进入以“分析即服务AaaS(Analysis as a Service)”为主要口标的Cloud 2. 0时代。云计算和NoSQI二技术与平台，为数据分析任务提供了数据访问的基础，并且可有效克服由于数据规模和异构性而引起的访问瓶颈。针对数据量大和响应时问短的特点，首要的问题是在数据管理和分析的功能和性能上进行仔细的权衡，摈弃传统数据库管理系统围绕记账(Billing)和订票(Booking)需求实现的额外开销巨大的OLTP功能，有选择地高效实现那些与业务密切相关的关键的数据分析功能，在性能上比现有的数据仓库或OLAP系统有极大的提升，以解决类似实时商务智能的需求。另一方面，如何利用计算机系统硬件和系统技术的发展，特别是存储系统以及计算机系统体系结构的发展来支持新的应用形势下大数据的管理和分析，是一个具有挑战性的、很有前景的研究课题。" Hadoop、HDFS、 Map/Reduce”模式在Google和Yahoo。的Web应用中有成功的实现，但这种探索还很初步，能支持的功能也很有限。“内存计算+列存储”模式在商务智能应用的探索正在兴起，面临的问题还包括功能完善和性能改善，内存计算系统的可靠性保障以及辅助决策支持所需要的基本数据分析功能的基准测试是一些需要深入研究的课题，还包括为支持实现这类应用专门设计的高可靠、具有新颖存储结构的MPP集群计算机系统。针对科学实验和科学观测中的大数据管理问题，数据建模和数据使用是与应用领域密切相关的，己有的关于科学和统计数据库的研究成果是一笔宝贵的财富，新的应用需求和计算平台也为这力一面的研究提供了崭新的研究视角。
4. 4大数据示范应用
当前大数据的示范应用主要包括:(1)社交媒体数据分析;(2)互联网广告;(3)基于位置的服务;(4)实时商务智能。大数据概念的产生以及大数据研究的兴起是典型的应用驱动的。大数据分析是大数据研究的重要任务，其应用可以分为面向消费者和面向企业两大类。与Web相关的应用主要是面向消费者的，商务智能应用是面向企业的。指导这两类技术研发的基本思想是有所差别的。面向消费者的数据分析必须依托于新型的信息服务，这些服务吸引消费者，产生互联网流量，数据分析的主要口的是将这些流量变成信息服务提供者的商业利润，前三类应用属于这一性质。其基本思路是:信息服务系统为在线用户提供个性化的产品推荐或广告，从而实现第三方付费的商业模式。这一类数据分析涉及用户信息(包括动态的用户行为和协同行为等)、媒体页面信息、产品信息等，数据和计算量都很大，要求的响应时问通常在微秒级。伴随着当前风起云涌的各类新型Web应用，这力一面的数据分析应用有很大的发展空问和很多的发展机遇。面向企业或机构的数据分析应用，所涉及的应用主体与传统数据库系统的客户类似，主要是大型企事业单位，他们对系统的可靠性以及数据分析系统的平台独立性有较高的要求。以往的辅助决策商务智能系统要么架构在运营数据库之上，性能受到影响，要么自成体系，软硬件捆绑，难以自主完成硬件升级和功能定制，数据分析系统的封闭性长期以来己成为很多企事业单位信息系统成本上的一个负担和单位业务发展上的一个制约瓶颈。当前是这力一面系统研发和推广应用的一个很好时机。
5结束语
大数据是一个笼统的概念，与应用密切相关，离开应用谈大数据研究现在还为时过早，应该分类研究Web数据/决策数据/科学数据。要想抽象出大数据研究的共性科学问题，应该首先限定应用领域，只有对具体的应用有全面深入的理解才有可能在更高层面抽象出共性的科学和技术问题，也才有可能发展出具有特色的大数据技术和系统，进而推动大数据管理理论的发展。大数据和传统数据库在研究理念和力一法学上是一脉相承的，从特定应用到技术力一案，到理论和模型，再到系统和产品，这也是数据库发展历史及辉煌成就给予我们对大数据研究的启示。但是，仅仅使用数据库技术研究大数据是不够的，大数据的研究需要多学科的交叉，需要计算机科学、机器学习、计算数学、统计学、管理科学等多学科的合作。聚焦应用场景和研究内容，具体化技术路线，明确研究口标，从而切实抓住大数据时代给我们从事相关研究和开发的技术人员带来的难得机遇。我们现在正处在这个机遇的时
问窗口，但时问窗口不会永远敞开。
核心关注：拓步ERP系统平台是覆盖了众多的业务领域、行业应用，蕴涵了丰富的ERP管理思想，集成了ERP软件业务管理理念，功能涉及供应链、成本、制造、CRM、HR等众多业务领域的管理，全面涵盖了企业关注ERP管理系统的核心领域，是众多中小企业信息化建设首选的ERP管理软件信赖品牌。
转载请注明出处：拓步ERP资讯网http://www.toberp.com/
本文标题：从数据库视角解读大数据的研究进展与趋势
本文网址：http://www.toberp.com/html/consultation/10825915933.html
相关文章
