机器视觉(Machine Vision)作为光电技术应用的一个特定领域,目前已经发展成为一个备受瞩目的行业。随着工业4.0浪潮袭来,机器视觉会摆脱最初“辅助工具”的地位成为生产系统的“眼睛”与“大脑”。本篇文章梳理了机器视觉几大应用场景、技术难点和行业趋势,试图揭开机器视觉的神秘面纱。
图1 机器视觉,智造之眼
一、机器视觉概念及其产生背景
机器视觉技术是计算机科学的一个重要分支,它涉及到计算机、图像处理、模式识别、人工智能、信号处理、光学、机械等多个领域,其目的就是给机器或者自动生产线添加一套视觉系统。机器视觉是采用机器代替人眼来做测量与判断,通过计算机摄取图像来模拟人的视觉功能,实现人眼视觉的延伸。通过机器视觉产品即(工业相机)将被摄取目标转换成图像信号,传送给专用的图像处理系统,得到被摄目标的形态信息,根据像素分布和亮度、颜色等信息,转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征,进而根据判别的结果来控制现场的设备动作。
图2 自动化生产线上的机器视觉系统
机器视觉系统的特点是提高生产的柔性和自动化程度,在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合,常用机器视觉来替代人工视觉;同时在大批量工业生产过程中,用人工视觉检查产品质量效率低且精度不高,用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成,是实现计算机集成制造的基础技术。
在现代自动化生产过程中,机器视觉已经开始慢慢取代人工视觉。特别是随着工业4.0的进一步推广,这一趋势愈加明显。越来越多的从业者投入到芯片技术、图像算法和图形处理等技术中,机器视觉呈现阶跃式状态,与此同时也助推了机器视觉更高速、良性的发展方向。机器视觉作为近20多年的新兴技术和产业,它的发展大大提高了工业生产过程中的灵活性和智能性水平。特别是近几年中国的视觉类产品以及专门从事视觉产品、设备销售和研发的公司更是如雨后春笋般,公众对视觉的接受度和依赖度越来越高。
二、机器视觉行业发展现状
机器视觉的概念起始于20世纪60年代,最先的应用来自"机器人"的研制。最早基于视觉的机器系统,先由视觉系统采集图像并进行处理,然后通过计算估计目标的位置来控制机器运动。1979年提出了视觉伺服(Visual Servo)概念,即可以将视觉信息用于连续反馈,提高视觉定位或追踪的精度。在国外,机器视觉的应用普及主要体现在半导体及电子行业,其中大概40%-50%都集中在半导体行业。从全球产业发展来看,国际机器视觉市场正处于产业成熟期,未来3~5年欧美日机器视觉技术仍将有不断创新,国际机器视觉市场规模有望继续增长。
纵观中国的机器视觉行业,始终是伴随着中国工业化进程的发展而发展起来的。中国的机器视觉起步相对较晚,从20世纪90年代末开始起步,直到2009年以后才正式进入高速发展期。其间经历了启蒙阶段、发展阶段、快速发展阶段、逐步成熟阶段。究其主要原因为,机器视觉行业本身属于新兴的领域,加之机器视觉产品技术的普及不够,导致以上各行业的应用几乎空白。
目前国内机器视觉大多为国外品牌,国内大多机器视觉公司基本上是靠代理国外各种机器视觉品牌起家。近年来,随着各大高校及企业纷纷投入研发,国内机器视觉专利数量逐年增加,国内机器视觉公司规模逐渐做大,技术上已经趋于成熟,机器视觉的功能及应用范围随着工业自动化的发展逐渐完善和推广。其中特别是CCD工业摄像机、智能相机、ARMFPGA、图像处理和模式识别等技术的快速发展,极大地推动了机器视觉系统的发展。据悉,中国目前已成为继美国、日本之后全球第三大机器视觉市场。2015年,中国机器视觉市场规模已达到61.2亿元,预计在2016-2020年间中国制造在机器视觉上维持20%的增长率,预计到2020年前后,市场规模将达152亿元,国内机器视觉将进入产业成熟期。
机器视觉发展历程
20世纪50年代:主要集中在二维图像的简单分析和识别上,如字符识别,工件表面、显微图片和航空图片的分析和解释等。
20世纪60年代:MIT(Massachusetts Institute of Technology)的Roberts通过计算机程序从数字图像中提取出诸如立方体、楔形体、棱柱体等多面体的三维结构,并对物体形状及物体的空间关系进行描述。他的研究工作开创了以理解三维场景为目的的三维计算机视觉研究。
20世纪70年代:首次提出较为完整的视觉理论,已经出现了一些视觉应用系统。70年代中期,MIT人工智能(Artificial Intelligence)实验室正式开设"机器视觉"课程。1973年MITAI Lab吸引了国际上许多知名学者参与视觉理论、算法、系统设计的研究,D. Marr教授就是其中的一位。他于1977年提出了视觉计算理论(Vision Computational Theory),该理论在80年代成为计算机视觉领域中的一个十分重要的理论框架。
80年代中期:计算机视觉获得蓬勃发展,新概念、新方法、新理论不断涌现。
90年代中期:随着微处理器、半导体技术的进步,以及劳动力成本上升和高质量产品的需求,国外机器视觉于20世纪90年代进入高速发展期,广泛运用于工业控制领域。
目前,机器视觉已形成几个重要研究分支:1)目标制导的图像处理;2)图像处理和分析的并行算法;3)从二维图像提取三维信息;4)序列图像分析和运动参量求值;5)视觉知识的表示;6)视觉系统的知识库等。
三、机器视觉系统模块构成
一个完整的工业机器视觉系统是由众多功能模块共同组成,一般由光学系统(光源、镜头、工业相机)、图像采集单元、图像处理单元、执行机构及人机界面等模块组成,所有功能模块相辅相成,缺一不可。好的机器视觉系统能够为制造业提供更多有利于提高产品质量和生产效率的硬件支持。
图3 机器视觉系统模块构成
图像获取:光源、镜头、相机、采集卡、机械平台
图像处理与分析:工控主机、图像处理分析软件、图形交互界面
判决执行:电传单元、机械单元
其中,典型的基于PC的机器视觉系统通常由如图所示的几部分组成:
图4 基于PC的视觉系统基本构成
①工业相机与工业镜头——这部分属于成像器件,通常的视觉系统都是由一套或者多套这样的成像系统组成,如果有多路相机,可能由图像卡切换来获取图像数据,也可能由同步控制同时获取多相机通道的数据。根据应用的需要相机可能是输出标准的单色视频(RS-170/CCIR)、复合信号(Y/C)、RGB信号,也可能是非标准的逐行扫描信号、线扫描信号、高分辨率信号等。
②光源——作为辅助成像器件,对成像质量的好坏往往能起到至关重要的作用,各种形状的LED灯、高频荧光灯、光纤卤素灯等都容易得到。
③传感器——通常以光纤开关、接近开关等的形式出现,用以判断被测对象的位置和状态,告知图像传感器进行正确的采集。
④图像采集卡——通常以插入卡的形式安装在PC中,图像采集卡的主要工作是把相机输出的图像输送给电脑主机。它将来自相机的模拟或数字信号转换成一定格式的图像数据流,同时它可以控制相机的一些参数,比如触发信号,曝光/积分时间,快门速度等。图像采集卡通常有不同的硬件结构以针对不同类型的相机,同时也有不同的总线形式,比如PCI、PCI64、Compact PCI,PC104,ISA等。
⑤PC平台——电脑是一个PC式视觉系统的核心,在这里完成图像数据的处理和绝大部分的控制逻辑,对于检测类型的应用,通常都需要较高频率的CPU,这样可以减少处理的时间。同时,为了减少工业现场电磁、振动、灰尘、温度等的干扰,必须选择工业级的电脑。
⑥视觉处理软件——机器视觉软件用来完成输入的图像数据的处理,然后通过一定的运算得出结果,这个输出的结果可能是PASS/FAIL信号、坐标位置、字符串等。常见的机器视觉软件以C/C++图像库,ActiveX控件,图形式编程环境等形式出现,可以是专用功能的(比如仅仅用于LCD检测,BGA检测,模版对准等),也可以是通用目的的(包括定位、测量、条码/字符识别、斑点检测等)。
⑦控制单元(包含I/O、运动控制、电平转化单元等)——一旦视觉软件完成图像分析(除非仅用于监控),紧接着需要和外部单元进行通信以完成对生产过程的控制。简单的控制可以直接利用部分图像采集卡自带的I/O,相对复杂的逻辑/运动控制则必须依靠附加可编程逻辑控制单元/运动控制卡来实现必要的动作。
机器视觉系统工作原理
机器视觉系统通过图像采集单元将待检测目标转换成图像信号,并传送给图像处理分析单元。图像处分析单元的核心为图像处理分析软件,它包括图像增强与校正、图像分割、特征提取、图像识别与理解等方面,从而根据判别输出目标的质量、规格测量等分析结果,分析结果并输出至图像界面或通过电传单元(PLC等)传递给机械单元执行相应操作,如剔除、报警等,或通过机械臂执行分拣、抓举等动作。
图5 机器视觉系统工作原理
机器视觉系统的工作流程
工件到达检测位置→ 向传感器触发脉冲→ 图像采集卡感应物件并开始工作→ 零件照明→工业摄像机等待扫描并输出→ 图像采集卡将数字图像存放到计算机内存中→处理器获取图像并把资料数据化→ 视觉软件对图像进行分析、识别→ 获取测量结果→ 离散输出,显示不良产品画面→控制流水线的动作或纠正误差。
图6 机器视觉系统工作流程图
从上述的工作流程可以看出,机器视觉系统是一种比较复杂的系统,因为大多数系统的监控对象都是运动物体,系统与运动物体的匹配和协调动作尤为重要,这些给系统各部分的动作时间和处理速度带来了严格的要求。在一些应用领域,例如机器人、飞行物制导等,整个系统或者系统的一些部件的重量、体积和耗电量都会有严格的要求。所以说,机器视觉是图像处理系统中最复杂的系统,需要在开发和设计中投入更多的精力。
四、机器视觉系统的优势
在工业生产的过程中,机器视觉相对于人眼识别体现了较大优势。机器视觉具有自动化、客观、非接触和高精度等特点。特别是在工业生产领域,机器视觉强调生产的精度和速度,以及工业现场环境下的可靠性与安全性,在重复和机械性的工作中具有较大的应用价值。
精确性——由于人眼有物理条件的限制,在精确性上机器有明显的优点。即使人眼依靠放大镜或显微镜来检测产品,机器仍然会更加精确,因为它的精度能够达到千分之一英寸。特别是检测生产线上高速运动的物体时,机器视觉更具优势。
重复性——机器可以以相同的方法一次一次的完成检测工作而不会感到疲倦。与此相反,人眼每次检测产品时都会有细微的不同,即使产品时完全相同的。
客观性——人眼检测还有一个致命的缺陷,就是情绪带来的主观性,检测结果会随工人心情的好坏产生变化,而机器没有喜怒哀乐,检测的结果自然非常可观可靠。
效率高——机器视觉系统可以快速获取大量信息,实现更为快速的产品检测,同时也易于加工过程中的信息集成,尤其是在大批量工业生产过程中,用人工视觉检查产品质量效率低且精度不高,用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。
成本低——由于机器比人快,一台自动检测机器能够承担多人的任务。而且机器不需要停顿、能够连续工作,所以能够极大的提高生产效率从而降低生产成本。
图7 人工检测与机器视觉自动检测的主要区别
五、机器视觉应用场景分析
机器视觉的软硬件产品已逐渐成为生产制造各个阶段的必要部分,这就对于系统的集成性提出了更高的要求。工业自动化企业要求能够与测试或控制系统协同工作的一体化工业自动化系统,而非独立的视觉应用。然而,随着机器视觉技术成熟与发展,早已不是单一的应用产品,其应用范围愈加广泛。现在,大多数的机器视觉被用于检测行业,常见的有五金行业,电子行业,包装行业等视觉方案。在产品生产过程中,采集产品数据,不仅提高了生产效率,还能更好地对生产过程进行控制,有效提高了产品质量,这也给机器视觉检测设备的发展带来一个新的契机。根据工业环境的不同,可以将机器视觉的应用分为以下两类:
一类是用于大规模或者高测试要求的生产线上:如包装、印刷、分拣等,或者在野外、核电等不适合人员工作的环境中,利用机器视觉方式代替传统人工测量或检试,同时实现人工条件下无法达到的可靠性、精确度及自动化程度。
另一类应用是必须用到高性能、精密机器视觉组件的专业设备制造:典型代表是最早带动整个机器视觉行业崛起的半导体制造设备。从上游晶圆加工制造的分类切割,到末端电路板印刷、贴片,这类设备都依赖于高精度的视觉测量以对运动部件进行导引与定位。例如,如果锡膏印刷工序存在定位偏差,且该问题直到芯片贴装后的在线测试才被发现,那么返修的成本将会是原成本的100倍以上。
机器视觉典型应用场景
1. 车间生产组装
图8 基于车间生产组装的机器视觉场景应用
机器人在机器视觉技术的作用下,可以精确地按照视觉技术使机械手臂拥有3D视觉能力,可以靠视觉导引、定位,成为夹取物件的要件。除了视觉定位,手眼力协调机器人的关键技术还有矩阵的感测器,可以协助机器人知道抓取的位置与力量大小。机器人具备三大力量控制功能,第一,力量控制能顺应导引,让作业员能够牵着机械手臂来做教导机器做重复的事情。第二,人机安全。机器人一碰倒东西就会停下来,因为机器手臂有能力感测碰撞力量,接触到外物的碰撞和人的碰撞,机器手臂会立即停止。第三,能精确控制夹取力道,对于易碎物品、软性物品的夹取。由于视觉定位以及力量感测能力,使得普通的机器摇身一变成为更像人类的行为,可以协助作业员做更高端、更精密的组装检测工作。
2.电子焊接制造
图9 基于电子焊接制造的机器视觉场景应用
在焊线技术中,因为芯片维度的缩小,需要较强大的影像放大功能。在此环境中,高质量的成像镜头系统必须满足特殊的最佳化需求。与一般影像处理技术相比,这里对照明、对比、失真或焦距深度等问题的要求,都逐一被放大。芯片、涂漆表面、图样与质地的质量对比可能会因为材质关系呈现出很大的相异性。在这些小型芯片中微小的偏移,将对影像的对比方面的质量造成很大影响。另外,由于机器视觉工具绝佳的操作模式、可靠度及视觉算法的高准确度,其精度可高达亚像素区块。在印模或焊线机器中的主要影像处理作业决定芯片与位置,及其图样、边缘、圆圈及钻孔,从而很好地解决了芯片焊接过程中的诸多问题。
3. 空瓶检测
机器视觉空瓶检测系统主要由相机、镜头、光源、图像采集卡、PC平台和控制单元等六部分组成,各个部分之间相互配合,最终完成对酒瓶的质量检测和剔除。
图10 基于空瓶检测的机器视觉场景应用
在系统运行过程中,PLC负责及时地通知图像采集子系统启动CCD摄像机,抓拍处于拍摄位置的空瓶。为了达到这一目的,需要使用光电传感器来检测空瓶的位置。并将光电传感器安装到CCD摄像机拍摄位置旁,把输出接到PLC的I/O输入口上。当没有空瓶经过时,光电传感器可以接收到反射光束,没有输出信号,而当有空瓶经过时,光电传感器无法接收到返回的光束,于是输出触发信号。PLC从输入口接收到此信号后,即可判定空瓶已到达拍摄位置,从I/O输出口输出启动信号给图像采集系统,启动CCD摄像机,摄像机及时进行拍摄,获取被检空瓶的图像。
4.汽车零部件制造
图11 基于汽车零部件制造的机器视觉场景应用
汽车行业产品的精度和质量都必须满足要求的这种需求正在与日俱增。因此,现在汽车行业生产的特点是越来越快的生产周期和大量原材料和零部件的供应。这就给机器视觉系统提供了用武之地,机器视觉正逐步被看作是任何自动化解决方案中的一个完整的组成部分。
另外,在电子工业中,特别是像高精度的晶片位置识别或位置校正以及用于SMT(表面安装设备)装配零件检测这样的领域,几年来已经形成了这样的共识:现在要满足高质量和生产标准的唯一方式就是使用灵活的图像处理方法。不管怎样,机器视觉目前已经是不可缺少的了,即便是拥有能够提供最佳精度级别的三维自动装配和适应大量不同种类和改进种类装配线的汽车行业也不例外。
5.产品自动化分拣
自动化分拣是工业生产、特别是产品批量生产中的必需环节之一。工业生产中需要根据产品特性及其生产/出厂质量要求进行分拣,它可以代替人工进行货物的分类、搬运和装卸工作,或代替人类搬运危险物品,提高生产和工作效率,保障工人的人身安全,从而实现自动化、智能化、无人化。
图12 基于产品自动化分拣的机器视觉场景应用
以食品生产行业为例,为了降低企业成本和提高食品的合格率,设计了符合中国国情的高速分拣系统。系统由计算机、运动控制器、CCD视觉系统和夹持器等组成。CCD视觉是系统能够根据食品的图像,运用图像算法,对食品进行分级和判断,进而通过控制器驱动并联机器人实现分拣操作。
高速机器人分拣系统的工作原理为:当食品进入作业区域时,上位机利用CCD完成食品图像采集,运用机器视觉技术对图像进行运算分析,完成对运动目标状态的跟踪;此时通过控制系统的下位机完成并联机构和夹持器的操作,将目标物放到指定位置,进而实现食品的自动分拣。一般分拣系统在完成图像采集时,会通过数据总线传至PC机,此时主控制器根据内部不同模块功能完成处理,进而对运动控制器发送指令。对于典型食品的图像处理,由于其外观形状比较规则,一般可通过图像采集、边缘提取、图像增强和特征分析等方法提取分拣食品的特征,而对于精密型食品图像采集需要更高的采集方式。
6.药品质量检测
图13 基于药品质量检测的机器视觉场景应用
机器视觉在医疗领域的应用已经从传统的药品包装、药瓶、标签等视觉检测到目前对生物芯片的检测,放射科的X放射等,通过引入机器视觉系统,完成对图像信息的采集、存储、管理、处理及传输等功能。
由于医药行业的严格规范,在药品出厂时,一般瓶装药都是要经过严格检测的。传统的检测方法是将待检测的药液用人工的方式放在流水线上,流水线的速度由检测工人控制,当药品传送到检测工人面前时,检测工人在专用的灯箱下判断产品质量是否合格。由于人工检测存在着很大的弊端,很难满足流水线的检测速度,无法实现实时、在线、非接触检测的检测,更无法适应现代的质量控制和统计流程控制。而基于机器视觉技术的药液质量检测,可以实现无接触式的检测。根据药液杂质检测的特点设计了专用的视觉成像方案。待检测的药液瓶被卡在转床上,转床旋转的时候带动药瓶高速旋转,用于机器视觉的专用LED光源安装在光源盒内,CCD摄像将拍摄到的图像传输到工控机,并在此过程中通过连续拍摄多幅图像,在这一序列的运动图像中,对运动目标进行识别,当识别到的目标超过规定的容许指标时,判断此瓶药液为不合格。
核心关注:拓步ERP系统平台是覆盖了众多的业务领域、行业应用,蕴涵了丰富的ERP管理思想,集成了ERP软件业务管理理念,功能涉及供应链、成本、制造、CRM、HR等众多业务领域的管理,全面涵盖了企业关注ERP管理系统的核心领域,是众多中小企业信息化建设首选的ERP管理软件信赖品牌。
转载请注明出处:拓步ERP资讯网http://www.toberp.com/
本文标题:机器视觉,智造之眼
本文网址:http://www.toberp.com/html/consultation/10839320602.html