增强现实技术(Augmented Reality，简称AR)是虚拟现实技术的一个重要分支，它将虚拟图形环境与现实环境融为一体，使用户从感官上确信虚拟环境是其真实环境的组成部分。增强现实技术的三大特性是虚实结合、实时交互和三维尺度上的匹配，这主要通过显示技术、交互技术、多种传感技术和计算机图形与多媒体技术等的结合来实现。
为了能产生有机融合的虚实场景，增强现实系统主要需解决增强现实环境的视觉一致性问题，包括：几何一致性、运动一致性、光学效果一致性和渲染细节分配等。所谓几何一致性，就是指无论在虚拟环境中静止或漫游，实体对象都应与集成的图像保持透视关系一致性；而所谓运动一致性，就是指当虚拟环境中的对象作出诸如平移或旋转等运动时，模型的尺寸和视角都应随时与静止图像建立的虚拟环境保持一致；光学效果一致性则是指虚拟对象的阴影、高光等光学效果应与环境保持一致，其基本思路是首先恢复出真实场景的光照模型，然后再计算对虚拟对象的影响，如明暗、阴影、反射等，这通常要在场景中放置镜面反射物体(如镜面球等)以获取光照信息，或者用阴影投射区域等进行光照估计；渲染细节分配是指图像间、模型对象间、以及图像与模型对象之间渲染精度的合理分配，主要是动态规划绘制细节水平的问题，目前在实际AR系统中需求不高。
增强现实系统的研究需涉及许多关键技术，如显示技术、跟踪注册技术(registration)、界面与可视化技术和相机标定(calibration)技术等。其中，跟踪注册技术决定了系统的几何一致性，关键在于如何能精确计算实景相机的位置和参数，将虚拟对象以适当的大小和正确遮挡关系加入到场景中的适当位置。增强现实系统的综合性能主要由其注册精度和系统延迟来决定，根据不同的AR应用背景有不同的需求。
本文首先给出了增强现实系统的总体结构，然后在此基础上重点论述了显示技术和跟踪注册技术的相关方法及其各自的特性和应用场合，最后对增强现实的当前应用和未来趋势做出了概要总结。
1、增强现实系统的总体结构
如图1所示，一个典型的增强现实系统通常由场景采集系统、跟踪注册系统、虚拟场景发生器、虚实合成系统、显示系统和人机交互界面等多个子系统构成。其中，场景采集系统负责获取真实环境中的信息，如外界环境图像或视频；跟踪注册系统用于跟踪观察用户的头部方位和视线方向等；虚拟图形绘制系统负责生成要加入的虚拟图形对象；虚实合成系统是指虚拟场景与真实场景对准的定位设备和算法。
图1 强现实系统基本功能结构图
由图1可知，增强现实系统中，输入图像经过处理组织建立起实景空间，计算机生成虚拟对象依几何一致性嵌入实景空间中，形成虚实融合的增强现实环境；这个环境再输入到显示系统呈现给用户；最后用户通过交互设备与场景环境进行互动。其中，让虚实准确结合的注册步骤非常关键，和最后的显示输出端一起，决定了用户对环境的最终感知效果，所以下面将重点对这两项技术进行详细论述。
2、增强现实系统的关键技术
2.1显示技术
增强现实系统中的显示器可以分为头盔显示器(HMD)和非头盔显示设备。目前，一般的增强现实系统主要使用透视式头盔显示器。透视式头盔显示器主要由三个基本环节构成：虚拟信息显示通道、真实环境显示通道、图像融合及显示通道。其中，虚拟信息的显示原理与虚拟现实系统所用的浸没式头盔显示器基本相同；图像融合与显示通道是与用户交互的最终接口，根据其中真实环境的表现方式，可分为基于CCD摄像原理的视频透视式头盔显示器和基于光学原理的光学透视式头盔显示器两类。
视频透视式头盔显示器首先由安装在头盔上的两个微型CCD摄像机摄取外部环境的图像，然后将计算机图形学生成的信息或图像叠加在摄像机视频上，通过视频信号融合器实现计算机生成的虚拟场景与真实场景融合，最后通过显示系统呈现给用户。光学透视式头盔显示器则通过一对安装在眼前的半透半反的光学合成器实现对真实环境与虚拟信息的融合：真实场景直接透过半反半透镜呈现给用户，经过光学系统放大的虚拟场景经半反半透镜反射而进入眼睛。
视频透视式和光学透视式HMD在注册精度、系统延迟、真实场景的分辨率和失真、视场等方面都有不同表现。光学透视式头盔显示器对真实环境几乎无损显示，用户获得的信息比较可靠全面，但真实环境与虚拟图像的融合困难；视频透视式头盔显示器对真实环境的复现受到很多因素的限制，但真实环境与虚拟图像的融合却容易了很多。
非头盔式的显示设备一般包括手持显示器(Hand-Held Displays)、CRT或平面LCD显示器、投影成像系统、自由立体显示器以及一些特殊场合专用的显示设备。其中较特别的有头戴式投影器、眼镜式显示器和视网膜投影显示等。
在实际应用中，显示设备的选用主要依据运用的环境和任务而定：一般说来，头盔式显示设备受环境约束较小，室内户外均可以使用，设备价格适中，沉浸感较好；非头盔式的显示设备一般成本较高(除一般的CRT或LCD显示器以外)，可多人共享，使用性能稳定、寿命较长，而且免除了使用者由于带头盔显示设备而造成的不适与疲劳感。
2.2跟踪注册技术
增强现实系统的跟踪注册包含使用者头部(摄像机)的空间定位跟踪和虚拟物体在真实空间中的定位两个方面的内容，关系到虚拟和真实对象的配准、排列。对用户头部相对位置和视线方向的获取一般可分为两种：一种是采用跟踪传感器进行注册，简称跟踪器法；一种是采用计算机视觉系统结合特定算法来实时得到，简称视觉法。在实际应用中，由于这两种方法各有其优缺点，为了得到更广泛的适应性和更好的性能，许多系统采用将两者相结合的复合方法。此外，还有基于认知(Knowledge Based)的方法，该法通过在用户头部和相关对象关键部位安装三维跟踪器来实现，但因为要事先了解对象结构并安装跟踪器，使之应用范围受到限制，本文中不作介绍。
2.2.1基于跟踪器的注册
基于跟踪器的注册方法普遍采用惯性、超声波、电磁、光学、无线电波或机械装置等进行跟踪。其中，惯性导航装置通过惯性原理来测定使用者的运动加速度，通常所指的惯性装置包括陀螺仪和加速度计；超声波系统利用测量接收装置与3个已知超声波源的距离来判断使用者位置；电磁装置通过感应线圈的电流强弱来判断用户与人造磁场中心的距离，或利用地球磁场判断目标的运动方向；光学系统使用CCD传感器，通过测量各种目标对象和基准上安装的LED发出的光线来测量目标与基准之间的角度，并通过该角度计算移动目标的运动方向和距离；机械装置则是利用其各节点问的长度和节点连线间的角度定位各个节点。这些跟踪技术共同的问题就是自身应用领域的局限性。例如，电磁跟踪器只能在事先预备的磁场或磁性引导环境下工作；GPS和电磁跟踪都不够精确，机械跟踪系统笨重不堪；适用于室内的跟踪系统不一定能在户外正常发挥作用等等。总之，没有完美的选择。因而对增强现实系统来说并没有单一完美的跟踪解决方案，跟踪系统可以结合其中的两三种跟踪传感器以相互补偿大延时、低刷新率甚至暂时的失效。
然而，对于一个实际的增强现实系统，仅仅根据头部跟踪系统提供的信息，系统没有反馈难以取得最佳匹配；而且跟踪器法的精度和使用范围都不能满足增强现实的需要，又容易受到外界干扰，因而几乎不可能单独使用，通常与下面将要介绍的视觉注册方法结合起来实现稳定的跟踪。
2.2.2视觉跟踪注册
目前，视觉跟踪注册主要有基准点法、模版匹配法、仿射变换法和基于运动图像序列的方法等。
其中，基准点方法需事先对相机进行定标(获取4个内部参数)，并设置相应的标记或基准点，然后对获取的图像进行分析，以计算相机的位置和姿态(获取6个外部参数)。其原理是先从图像中提取一些已知的对象特征点，找到真实环境和图像中对应点的相关性，然后由相关性计算出对象姿态，这个过程也就是对从世界坐标转换到摄像机坐标的模型视图矩阵的求解过程。通常，特征点可以由孔洞、拐点或人为设置的标记来提供。其中，对于人为标记的特征点，若按照颜色划分则有黑白与彩色两种情况，而按照形状划分则有圆形、同心圆环、多边形(包括三角形、方形、五边形等)和条形码等。黑白标志可在图像二值化后用相应算法提取，相对来说彩色标志通过色彩分量提取更容易，但同时也易受到光照条件、相机本身质量和观察角度方向等的影响；圆形和同心圆环基于本身几何特性对观察方向的改变很稳定，但是用于作为特征点的中心位置就较难以精确确定；多边形标记采用拐角作为特征点，位置信息更为精确，但往往需要额外途径或信息以使各拐角特征点相互区别，而且多边形方法在标记部分受到遮挡时就可能会由于特征点数量的缺失而失效。
根据所使用摄像机的数量不同，基准点方法又可分为基于一个摄像机的单摄像机法和双摄像机的立体视觉法。对单摄像机法来说，至少需要4个特征点，因而常采用方形标记；立体视觉法则需3个特征点就可确定，因此原理上采用三角形即可，但出于对遮挡鲁棒性的考虑有时也会采用方形标记。立体视觉在对特征点数量的要求上更具优势，并且可以同时从图像视差中获取场景深度信息，但该法分辨率不高、定位精度不够、相机之间基线短且注册深度有限；因此单相机方法虽然需要至少4个特征点，却以性能表现成为了注册方法的首选；立体视觉法则可作为对单相机方法提高稳定性的额外补充发挥重要作用。
模版匹配法同样需要事先对相机标定内部参数，再通过图像分析处理提取环境中平面上的特定图形图案，并与已有模式进行匹配，匹配成功即可确定该图案板的位置和姿态，因而确定要叠加在图案板上虚拟对象的位置和姿态。模版匹配法的典型代表是ARToolKit。目前，采用ARToolKit开发的系统有很多，例如MagicBook等。模版匹配法的优点是方便快速，使用普通PC机和摄像机即可实现很高的帧频，对快速的运动也适用；缺点是鲁棒性不够，只要对图案稍有遮挡就难以有效运作，因此无法近距离观察与图案板相连的虚拟物体或者用实际物体与之进行移动交互。
针对复杂的相机标定，有研究致力于简化甚至免除该过程，出现了半自动和自动标定及无需标定的方法，半自动和自动标定一般利用冗余的传感器信息自动测量和补偿标定参数的变化；而无需标定的方法则以仿射变换和运动图像序列法为代表。
仿射变换法不需要摄像机位置、相机内部参数和场景中基准标志点位置等相关先验信息。仿射法通过将物体坐标系、相机坐标系和场景坐标系合并，建立一个全局仿射坐标系(非欧几里得坐标系)来将真实场景、相机和虚拟物体定义在同一坐标系下，以绕开不同坐标系之间转换关系的求解问题，从而不再依赖于相机定标。这种方法的缺点是不易获得准确的深度信息和实时跟踪作为仿射坐标系基准的图像特征点。
基于图像序列的方法是利用投影几何方法从图像序列中重构三维对象，目前已可以较好地重构一些简单的表面实体。存在的问题是，现有基于图像序列重构三维对象的技术中，特征点的提取完全基于图像特征进行，少量高可靠性的特征点必须由大量特征点通过复杂的匹配和迭代计算得到，因此难以保证观察视点位置获取的实时性。
就目前而言，基于视觉的增强现实系统可使测量误差局限在以像素为单位的图像空间范围内，因而是解决增强现实中三维注册问题最有前途的方法。但同时研究表明，准确快速的跟踪注册在环境中有精确外部参考点的情况下，比在复杂的户外真实世界中容易实现得多；在户外情况下，需要使用结合了基于跟踪器方法的复合注册法。
2.2.3复合注册法
一般的视觉跟踪注册法虽然精确性高，但为了缩短图像分析处理的时间，常依赖于帧间连续性，当相机与对象间相对运动速度较大时就会找不到特征点；另外，视觉跟踪注册法在环境不符合要求(例如标记被遮挡或光照不足)时会失效，稳定性不够好。而跟踪传感器如电磁跟踪等虽然精确性不高，又有一定延迟，但鲁棒性和稳定性不错，而且对用户运动的限制也较小。因此，结合视觉法和基于跟踪器的方法可以取长补短：通常是先由跟踪传感器大概估计位置姿态，再通过视觉法进一步精确调整定位。一般采用的复合法有视觉与电磁跟踪结合、视觉与惯导跟踪结合、视觉与GPS跟踪结合等。
电磁跟踪法便携性好，但易受到环境中金属物体的影响，精度不够高；与视觉法结合可以起到加速图像分析过程、从多选中确定正解、作为后备稳定跟踪和为视觉法提供对比参照结果等作用。惯性跟踪优点是延迟小速度快，缺点是误差累积效应并会影响注册稳定性；与视觉法结合后可以预测平面标记的大概运动范围并增加系统鲁棒性和性能表现，视觉法则负责局部图像分析以精确定位并消除传感器的累积漂移量。
3、结论和展望
在国外，增强现实早已在医学、遥操作、制造与维修、可视化与教育培训、娱乐、军事训练等领域取得了成功应用。在国内，不少单位和个人对增强现实中的关键技术和算法进行了研究，并且以牙科医学、设备维修等许多背景得到了初步应用研究，尤其在北航的机械手遥操作上得到了成功应用。但国内的研究目前仍多限于实验阶段，与国外的应用水平还有一定距离。
目前，随着增强现实的快速发展，出现了许多新的研究方向，如新的显示方式、照片真实感图形绘制、调节现实(Mediated/Diminished Reality)、基于网络的增强现实和针对户外随身增强现实系统的技术等等。其中涉及到的技术包括基于图像的绘制(IBMR)、多通道信息融合、普适计算技术、显示设备和跟踪设备的随身便携化等。随着系统性能的提高、操作过程的简化和设备成本的降低，增强现实会在越来越多的领域得到广泛应用。
核心关注：拓步ERP系统平台是覆盖了众多的业务领域、行业应用，蕴涵了丰富的ERP管理思想，集成了ERP软件业务管理理念，功能涉及供应链、成本、制造、CRM、HR等众多业务领域的管理，全面涵盖了企业关注ERP管理系统的核心领域，是众多中小企业信息化建设首选的ERP管理软件信赖品牌。
转载请注明出处：拓步ERP资讯网http://www.toberp.com/
本文标题：增强现实系统及其关键技术研究
相关文章
