在安防领域,信息孤岛问题突出。在一座城市,有公安部门安装的摄像监控设备,也有各个单位安装的摄像监控设备。这些设备或系统产生的监控数据难于实现互联互通,造成信息孤岛现象,“只见树木,不见森林”。近年来,以云计算和物联网为核心的智慧城市建设提出大安防概念,试图将这些孤立的视频信息集成在一起,从而实现联网和共享。然而,视频信息数据量巨大,造成通信带宽的巨大消耗。
在安防视频监控领域,随着高清监控时代的到来,产生了越来越多的海量视频数据,是一种典型的大数据。如何以较小的通信代价实现安防大数据的互联互通,并具有较高的扩展弹性和易于实施的特点,是目前安防大数据的挑战难题。针对这一挑战难题,本文提出一种基于大数据的分布式云计算模型。
1、安防大数据
安防大数据具有2个明显的特点:1)数据规模海量化:2)数据类型非结构化。数据规模海量化造成数据传输和存储的困难,数据类型非结构化为数据利用带来了极大的挑战,为了解决这些难题需要大数据。IDC将大数据视为一个融合的体系:具备大规模的体量(Volumes)、多样化的种类(Variety)的数据集以及对这种数据集进行高速(Velocity)采集、处理与分析以提取价值(Value)的技术架构与技术过程。
Hadoop技术正是在此背景下诞生,历经数年的积累,Hadoop已成长为一个强大的生态系统,成为IT领域广泛采用的大数据模型框架。Hadoop主要由分布式文件系统(HDFS)、并行计算架构(MapReduce)和分布式数据库(HBase)组成。其中,HDFS是针对大规模数据的高容错性和高吞吐的分布式文件系统,它可以构建从几台到几千台由常规服务器组成的集群中,并提供高聚合输入输出的文件读写访问。HBase是一个分布式的、按列存储的、多维表结构的实时分布式数据库,它可以提供大数据量架构化和非结构化数据高速读写操作,为高速在线数据服务而设计。MapReduce适用于大数据量处理的分布式框架,是为离线数据分析而设计,利用数据的并行性进行分布运算,而后汇总结果的计算框架。
2、基于大数据的分布式云计算模型
大数据己在安防领域初步取得成功的应用,例如纽约市警察局与微软合作推出了基于大数据的犯罪预防与反恐技术:领域感知系统(Domain Awareness System,简称DAS)。该系统能快速混合与分析从约三干台闭路摄像机、9·ll呼叫记录、车牌识别器、辐射传感器以及历史犯罪记录中获取的实时数据。目前纽约市警察局已能追踪机动车,并确定此车在过去几天甚至几个星期的所到之处;还能快速访问犯罪嫌疑人的逮捕记录以及所有特定案件的9·11呼叫记录,将犯罪记录以时间先后顺序按地理空间技术映射出来,以揭示犯罪模式。
虽然大数据在DAS中得到成功应用,但是DAS的范围还很有限。首先,存在信息孤岛现象,各个单位和小区独立的摄像系统还有充分利用,造成感知出现死角。其次,集中式的计算和存储造成通信成本高、难于管理。为此,本文提出一种基于大数据的分布式云计算模型,其示意模型如图1所示。
图1 基于大数据的分布式云计算模型
在基于大数据的分布式云计算模型中,域结点是一个全局结点,负责任务的派发和信息的整合。子域结点为局部结点,负责从域结点接收任务。终端结点即为具体的摄像头,负责实时传送信息。以某城市为例,假如该城市欲将某高校纳入其安防大数据范围,而该高校又有三个校区。则域结点为该城市安防大数据的控制中心,第一层子域结点为该高校的主控中心,该高校三个校区的控制中心都为第二层子域结点,每个校区的监控设备为终端结点。基于大数据的分布式云计算模型具有以下优势:
(1)扩展弹性高。域结点与子域结点之间只需光纤连接起来,就可以实现对监控范围扩展。
(2)通信带宽低。由于子域结点具有自己的计算和存储能力,根据域结点的任务指令,子域结点只需将计算后的视频信息片段发送到域结点,从而降低通信带宽。
(3)易于实施。域结点与子域结点连接后,只需在子域结点处安装相应的软件系统,即可实现互联互通,子域结点的现有系统结构无需改变,避免重复建设,节省建设成本。
3、域(子域)结点系统架构
域(子域)结点的系统架构采用Hadoop技术,由安防信息决策系统、分布式数据处理系统(MapReduce)、海量数据分布式存储系统和分布式数据处理结点组成,如图2所示。域(子域)结点系统的功能主要包括:
(1)统一指挥布控。对接入系统分布式网络的视频数据监控节点分层次集中统一管理。每个管理子节点都能够有效监控其管辖下的所有监控视频以进行分析处理预警,并能够将相关处理后的特征信息反馈到上一级节点进行汇总,避免监控数据孤岛现象。同时也能接受主节点下发的监控指令,对视频内容进行在线处理,以识别出指令特征所描述的人物及场景进行预警并上报。
(2)物体追踪。根据物体的运动情况,自动发送相应控制指令,控制摄像头自动跟踪物体。如果物体超出该摄像机监控范围,能自动通知物体所在区域其它摄像头继续进行追踪。
(3)人的面相、步态等识别。自动对人脸和人的步态特征进行识别,可以用来帮助识别和验证是否为指定人物的身份。
(4)车辆识别。识别车辆的形状、颜色、车牌号码等特征,可用于监控指定车辆的追踪。
(5)非法滞留的判别。对人或物体在敏感区域停留的时间超过了预定义的时问长度时产生报警。
(6)治安事件的监测。指定范围内人的行为特征是否符合某一个性行为模式,用以实时监控预警治安事件。
图2 基于云计算的大数据安防监控系统架构
4、讨论
本文为解决安防领域中的信息孤岛问题,提出一种分布式云计算模型,该模型具有扩展弹性高、通信带宽低和易于实施等特点。应用是大数据的生命和价值所在,解决信息孤岛问题是大数据应用的前提。在安防大数据领域,有众多应用可以开发,例如犯罪嫌疑人跟踪、犯罪和群体事件预防、老人小孩失踪寻找、车辆跟踪以及交通堵塞疏导等等。这些应用都与人们日常生活和安全密切相关,安防大数据为解决这些问题提供了一种有效手段。但是,安防大数据的基础应用理论尚需进一步的创新研究,特别是需在模式识别、数据挖掘、机器学习和智能决策等关键技术瓶颈上取得突破。只有这些根本性的问题得到解决,安防大数据才能真正得到应用。
核心关注:拓步ERP系统平台是覆盖了众多的业务领域、行业应用,蕴涵了丰富的ERP管理思想,集成了ERP软件业务管理理念,功能涉及供应链、成本、制造、CRM、HR等众多业务领域的管理,全面涵盖了企业关注ERP管理系统的核心领域,是众多中小企业信息化建设首选的ERP管理软件信赖品牌。
转载请注明出处:拓步ERP资讯网http://www.toberp.com/
本文标题:安防大数据下的分布式云计算模型