在传统路由器或交换机设计中,快速的报文转发(数据面)和高层的路由决定(控制面)是集成在一起的。在近几十年的网络技术发展过程中,由于这种紧耦合大型主机式的发展限制了IP网络创新技术的出现,更多的是通过不断增长的RFC数量对现行网络进行修修补补,造成了交换机/路由器设备控制功能的高度复杂。网络研究人员想要在真实网络中基于真实生产流量进行大规模网络实验几乎是不可能的,因为网络设备是封闭的,没有提供开放的API,无法对网络设备进行自动化配置和对网络流量进行实时操控。
软件定义网络(SDN)是由美国斯坦福大学CLEANslate研究组提出的一种新型网络架构,设计初衷是为了解决无法利用现有网络中的大规模真实流量和丰富应用进行实验,以便研究如何提高网络的速度、可靠性、能效和安全性等问题。其基本思想是把当前IP网络互连节点中决定报文如何转发的复杂控制逻辑从交换机/路由器等设备中分离出来,以便通过软件编程实现硬件对数据转发规则的控制,最终达到对流量进行自由操控的目的。SDN技术于2009年入选美国MIT主办的《技术评论》杂志十大新兴技术之一。其核心技术OpenFlow使能了交换/路由器的控制面与转发面功能的解耦,由集中控制器(controller)下发统一的数据转发规则给交换设备,使得控制器与交换设备可独立发展。尽管SDN定义了一种新型的网络体系架构,属于下一代网络技术研究课题,但它并不革新原有IP分层网络的报文转发行为,只简化报文转发规则产生的复杂性。为此,随着IP网络研究的僵化和互连设备无法适应新应用如BYOD(bringyourowndevice,自带设备到工作场所)、IT定制化、云计算、Bigdata、虚拟化服务器等的广泛出现,使得SDN技术在短短2~3年时间内就成为网络学术研究和产业界最热门的研究方向。
1、软件定义网络架构及标准化工作
从传统交换机/路由器设计上来看,它由控制面、数据面和管理面组成,如图1所示。其中控制面实现计算机ISO网络模型中3~7层的各种报文转发控制功能;例如支持二层物理主机地址学习更新MAC(mediaaccesscontrol,介质访问控制)地址表,支持IP路由协议(如RIP/OSPF/ISIS/BGP等)更新路由表,根据用户配置和过滤功能静态或动态生成ACL(access controllist,访问控制列表)等转发信息表。数据面依据控制面下发的转发信息表进行报文解析、查表、过滤匹配和端口映射等报文转发功能。管理面支持用户对网络设备的配置管理,如实现命令行接口(commandlineinterface,CLI)和简单网络管理协议(simplenetworkmanagementfunction,SNMP)功能。尽管交换设备从功能逻辑上进行了较好的划分,但是控制面需要支持的各种IETFRFC协议规范,如OSPF、BGP、组播、区分服务、流量工程、网络地址转换、防火墙、多协议标签交换、虚拟局域网等,已经使路由器的设计和实现都变得异常复杂。软件定义网络的目的就是把交换/路由设备的控制面功能从硬件中剥离出来,由可以在PC(personal computer,个人计算机)或服务器上自由编程的软件实现,再简化交换硬件设备,让它们成为可编程控制的“傻瓜型”交换设备。
经过多年的研究和实践探索,由谷歌、微软、Facebook、雅虎与电信巨头Verizon和德国电信于2011年3月份成立的非盈利性组织机构———开放网络基金会联盟(opennetworkfoundation,ONF),在文献中给出了软件定义网络(softwaredefinednetworking,SDN)的体系架构,如图2所示。ONF目标致力于推动SDN技术的发展,并负责标准化和市场化教育等相关工作。
由图2可知,自底向上,SDN体系架构分为基础设施层、控制层和应用层三层。其中,控制层中控制软件与基础设施中的交换/路由等网络设备经由控制数据面接口(也被称为南向接口)交互,与应用层各种APP经由开放API(也被称为北向接口)交互;网络基础设施充当原交换/路由设计中的转发面角色,也被称为OpenFlow交换。OpenFlow交换由流表、安全通道和OpenFlow协议三部分组成,是整个OpenFlow网络的核心部件,主要管理数据层的转发。OpenFlow交换接收到数据报文后,首先查找流表,找到转发报文的匹配,并执行相关动作。若找不到匹配表项,则把报文转发给控制层,由控制器决定转发行为。控制器通过OpenFlow标准协议更新OpenFlow交换中的流表,从而实现对整个网络流量的集中管控。控制层通过对底层网络基础设施进行资源抽象,为上层应用提供全局的网络抽象视图,并由软件实现,摆脱硬件网络设备对网络控制功能的捆绑。应用层通过控制层提供的开放接口,对控制层提供的网络抽象进行编程,以操控各种流量模型和应用的网络流量,使得应用产生的流量对网络感知,实现网络智能化。
SDN网络标准化工作主要由ONF推动。OpenFlow是开放网络基金会为SDN研究体系标准化的第一个接口规范,目前该规范的定义已经更新到1.3版本。1.0版本中报文匹配的流表项由固定的头域构成,无法被灵活扩展,仅支持局域网报文转发。1.1版本扩充了对多流表、标记和隧道(e.g.多协议标签交换MPLS)和多路径流传输控制协议SCTP等的支持。
1.2版本扩充了对IPv6基本协议的支持,并重新设计了流表报文匹配头域结构和抽象匹配后报文转发动作为指令集,可实现报文任意字段的灵活匹配和更通用的报文处理动作。1.3版本对交换和控制器间的能力协商描述格式进行了重构,增加了对流的度量和对IPv6扩展头域的支持。
除了定义SDN体系架构和OpenFlow技术规范外,为了实现对OpenFlow转发面的远程配置,使得OpenFlow交换设备能够接入SDN网络,同时完成需要人工干预的配置(如与控制器相连的IP地址、端口号和OpenFlow通道传输协议等),还定义了OpenFlow管理和配置协议(OFConfig),以便各厂商SDN交换设备遵行统一标准实现更好的互操作性。
2、OpenFlow/SDN研究现状
2.1 学术研究团体
OpenFlow技术起源于斯坦福大学CLEANSlate研究组关于网络安全与管理的Ethane研究项目。该项目试图通过一个集中式的控制器,让网络操作员可以方便地定义基于网络流的安全控制策略,并将这些安全策略应用到各种网络设备中,从而实现对整个网络通信的安全控制。受此项目及前续项目Sane的启发,Casado和其导师McKeown教授将Ethane的设计更一般化,分离传统网络设备的数据转发面和路由控制面两个功能模块,通过集中式的控制器以标准化的接口对各种网络设备进行管理和配置,提出了开放网络的思想,于2008年在ACMSIGCOMM发表了题为OpenFlow:EnablingInnovationin CampusNetworks的论文,首次详细地介绍了OpenFlow的概念。
目前,OpenFlow已经在美国斯坦福大学、印第安纳大学、Internet2、欧洲OFLEIA、日本JGN2plus、韩国NetOpen网络服务平台以及其他的诸多科研机构中部署。美国斯坦福大学展开了有关OpenFlow协议、控制器可伸缩性、监测调试工具链、网络虚拟化、分组电路融合等方面的研究。国内的清华大学和北京邮电大学也较早参与并跟进OpenFlow使能的SDN相关技术研究,前者侧重于网络源地址有效性验证、IPv6支持、网络安全和无线嵌入式OpenFlow/MPLS技术等方面,后者侧重于光网络基于OpenFlow的统一控制面研究。
英国Essex大学提出了一种由光流、光流元素和可编程OpenFlow控制器使能的OpenFlow网络结构,该结构具有操作任何用户定义的网络协议和场景的能力,能够提供智能的、用户控制的和可编程的光网络服务。
上述学术机构在参与SDN网络研究过程中产生了一系列开源项目和软件产品。若按照SDN分层思想来分,交换开源项目包括OpenvSwitch、OpenWRT、NetFPGANOX等,控制器开源项目包括NOX、FlowVisor、Maestro、Beacon、Trema,应用包括ENVI、LAVI、nCasting,以及研究OpenFlow/SDN的配套工具链工具,如oftrace、oflops、openseer等。
2.2各大厂商
除学术研究团体对SDN技术展开广泛研究外,各大芯片厂商、因特网服务提供商、设备厂商、电信运营商和创业公司对SDN技术跟进、产品研发和网络部署均产生了浓厚兴趣,并进行了积极实践。
目前,尽管有众多的研究机构部署实践使能OpenFlow的SDN实验床,也有许多网络设备商和IT服务商推出相应的交换产品、控制器及SDN整套解决方案,但从SDN总体研究态势来看,还属于刚刚起步,如SDN体系架构中的北向接口尚未被定义、南向接口的OpenFlow协议还在进一步完成过程中;同时,SDN网络平台可伸缩性、可靠性及支持OpenFlow流表的交换芯片等技术均处在探索过程中。再者,SDN把分散在各个网络设备的网络状态集中编程,将网络化繁为简,在推动网络应用创新和满足IT定制化、自带设备办公、云计算和网络虚拟化等新应用趋势方面带来了许多新的思路,使其成为当前最为热门的网络研究方向。
3、软件定义网络研究方向
3.1 SDN体系架构及平台设计
3.1.1 流抽象和流表设计
SDN网络底层的交换设备作为通用的数据转发硬件,需要支持对各种数据流的转发,除分组数据外,甚至还包括电路数据,这要求对流进行合理抽象。同时,把数据通路抽象为流,在数据流非常大而用户又期望能对每条流进行精细化控制时,要求交换硬件能够提供足够的流表空间,并可对流表灵活地增加、删除、修改和匹配查找。由于OpenFlow对流表项的定义非常灵活,因此每个流表项占据的空间从104Byte扩展到237Byte。尽管现有的硬件设备提供的内存容量很大,但是由于内存访问的时延过长,为此多数交换设备的硬件流表都由TCAM存储设备维护,而它目前难以支持大容量的流表存储,因此对交换芯片的大容量快速存取和流水线流表执行的硬件设计与研究将会成为SDN网络研究的重要方向之一。文献提出了一种决策森林的算法,把流表空间划分成多个子流表空间,每个子流表空间形成一棵决策树,所有决策树形成决策森林。在设计时,不同决策树之间通过流水线并发判断执行,最终以较低的存储空间达到支持1024个灵活流表项64Byte小报文40Gbps的吞吐量。OpenFlowv1.1版本开始也把v1.0中的一张大流表划分成多级流表,以便充分利用现有交换芯片存放MAC地址表、IP路由表、ACL表的多种存储空间。但在实现低成本、大容量和高性能适配通用流的交换芯片方面依然存在许多难题。
3.1.2 SDN控制层与应用层间API设计
SDN控制层对底层网络资源进行全局抽象,应用通过控制器提供的开放接口进行编程,最终实现可编程网络以灵活操控网络流量。因此,控制层的开放程度决定了为上层应用提供的网络资源丰富性及使用的灵活性。SDN控制层与应用层之间API设计有赖于控制层和应用层的功能边界划分。控制层除了作为OpenFlow服务端与底层OpenFlow交换通信,还需跟踪基础网络资源(链路、端口、交换、CPU利用率等资源)状态,并对上述资源进行灵活抽象(如生成全局网络拓扑图),提供给应用层;同时还要把应用层下发的操控策略翻译成OpenFlow流表更新给底层交换。受限于当前SDN网络应用场景的挖掘不足,北向接口API的提供形式、最小功能集和扩展灵活性均未被定义,标准组织和学术研究机构均还处在探索阶段。
3.1.3 控制器可伸缩性、可靠性
除了OpenFlow交换对网络数据转发能力产生影响外,为SDN网络中所有OpenFlow交换产生数据转发规则的集中式控制器可伸缩性对网络转发性能更是起着决定作用。尽管它被称为慢速路径(slow-path),但当网络达到一定规模或用户并发访问突然增加时,控制器若无法对大量OpenFlow交换的并发请求及时响应,就会导致OpenFlow交换无法对大量达到的报文根据数据转发规则进行转发,很容易出现网络性能瓶颈。因此,控制器可伸缩性不仅决定着SDN网络规模的大小,也决定了SDN网络能否被大规模商用。同时,控制器作为整个网络的控制核心,其自身可靠性将决定SDN网络是否可用。当控制器遇到硬件故障或软件Bug时,由于无法为新流产生转发规则下发给OpenFlow交换设备,容易造成网络数据转发服务的中断。因此,相对于传统NonSDN网络中控制功能在各个交换网络设备中的分布式部署,SDN网络集中式控制器的可靠性对网络稳定性的影响更大。
若对控制器采用单点部署,SDN网络稳定性将难以得到保障。借鉴传统服务器集群技术提高控制器可伸缩性和可靠性是一种很好的研究思路。文献对此展开了研究,得出以下结论:控制器利用服务器硬件的快速发展趋势,相比现有网络设备控制面的芯片能力具有更大的计算能力;单台服务器就可以胜任超过1000台交换的控制面计算能力;若采用主备方式部署控制器,则存在控制器主备角色切换问题和故障恢复问题;若采用集群方式部署控制器,则交换请求如何在集群内的每个控制器之间负载均衡,同时控制器间的协同工作、拓扑及状态共享等都是很大的难题。文献提出了一种分布式控制面的思想:在一个SDN网络中部署多个控制器,每个控制器直接管理与之直连的OpenFlow交换,通过编程或查询的方式间接管理非直连OpenFlow交换,且不同OpenFlow控制器之间相互共享整网视图及资源状态,最终达到满足任务关键网络的低延迟和可伸缩性需求。但是,在大规模网络部署中,控制器的数量及位置部署直接决定了网络成本效率,同时如何对交换设备的控制面归属划分优化也是难点,控制器对间接节点及链路状态的管理一致性保持要求也很高。
3.1.4 新的网络应用
SDN架构中真正使能网络创新的是应用层。适配各种新的网络流量模型和应用的整网规划最终都落在SDN应用层。应用层通过控制层提供的网络抽象视图,针对其关心的网络资源进行灵活编程,对网络流量进行灵活操控。目前,在应用层进行新应用开发的实践研究包括网络接入控制、虚拟路由、控制器透明代理、Web策略管理器、测试工具、网络可视化、利用OpenFlow实现的IaaS平台、使能跨云平台的安全框架等。文献在节约数据中心能耗方面提出了弹性树的概念,其基本思想是利用OpenFlow/SDN提供的整网视图和流量灵活操控的优势,通过链路状态自适应、迁移聚集少数流量的流至较少的链路、交换和服务器节点,最终切断没有流量的链路和交换,以达到节约能耗的目的。文献利用流量可在OpenFlow交换间自由迁移的特点,通过周期性监测OpenFlow交换节点和服务器当前负载,构建了分布式、动态、自动配置和灵活的负载均衡器,最终实现了全局最小化平均服务请求延迟的目标。
3.1.5 SDN和Non-SDN网络互通
SDN作为一种新的网络架构,必须考虑实际部署过程中与传统NonSDN网络共存的问题。若是由全OpenFlow交换组建的SDN网络,则可以抽象为单台交换或路由设备;但当OpenFlow交换网络中间连接有传统交换或路由设备时,控制器就无法跨越传统Non-SDN网络设备。或者当整个网络存在多个SDN网络和多个传统NonSDN网络时,若SDN控制器之间想要进行协同工作分配一条带QoS保证的链路,就会遇到SDN网络和Non-SDN网络共存的问题。已有研究多数采用多层封装和隧道技术来解决,但在SDN上层业务应用确定之前,如何界定SDN与Non-SDN的网络边界也是一个值得深究的问题。
3.2 网络管理
传统交换/路由设备的管理通过网络管理员直接操控每台设备的命令行接口,或通过SNMP协议提供的Web管理页面完成。配置时各个厂商的登录方式和命令语义不兼容,而且由于控制命令暴露了过多的技术细节,对网络管理员掌握相关网络知识有非常大的挑战,而且还很容易出错。为此,提出SDN的另一个主要目的就是简化网络管理。
3.2.1 网络管理自动化
事实上,SDN把控制面从各个离散的网络设备中剥离出来,由控制器提供底层网络的全局视图,用户通过对网络抽象视图灵活编程即可操控管控整个网络流量。同时,控制器又以API形式为上层应用提供开放编程接口。若把这些网络控制功能与其他的IT资源(虚拟/物理服务器、应用软件)编排在一起,则可实现网络的自动化管理。因此,文献设计了新的网络编程语言和配置脚本,实现对SDN网络的自动化管理;文献研究了如何在与云控制器集成中给出统一的云编排系统实践方案,如图3所示。
3.2.2统一控制的光网络互连
光网络作为下一代网的物理基础,承载着超过80%的信息传输,但现有光网络存在灵活性不够和可扩展性不足、IP承载层与传送光层独立发展的现象,难以适应业务多样性和时变性,满足多层多域光网络本身存在的体系可扩展性。若能实现光网络和IP网络的统一管控,不仅有利于简化网络管理,而且能提高网络敏捷性和降低投资与运营成本。现有的智能光网络控制架构是基于GMPLS(generalmultiprotocollabelswitch,通用多协议标签交换)和PCE(pathcomputationelement,路径计算单元)的。但无论是GMPLS还是PCE/GMPLS架构,在实现网络控制时,由于缺少映射抽象变得过于复杂,想要实现多域多层网络的统一管控非常困难。文献研究了融合OpenFlow和PCE架构的波长交换光网络,文献研究了从GMPLS到PCEGMPLS再到OpenFlow,构建业务感知的光网络控制面。文献提出了一种使用OpenFlow构建统一控制面的思想,因为根据SDN数据面的抽象观点,分组和电路均可被看做流,可抽象两者的数据交换呈现给外部作为网络操作系统的软件控制器,所有网络控制逻辑(如路由、流量工程和BoD等)由统一OpenFlow方法控制。
3.2.3 多无线网络间的平滑切换
人们身边不乏各种无线接入信号,许多移动设备支持的接入技术也有多种选择,如WiFi、WiMax、3G/4GLTE等,但是在信号较弱或者人群拥挤的地方,依然经常出现断连、传输错误或信道资源不足的现象。由于上述无线网络接入技术在当前部署环境中都是独立工作的,用户设备支持的多种无线链路也是分离的,若能借鉴SDN对数据转发行为的集中控制,使得数据能够在多条不同的链路通道中实时切换,那对于丰富各种应用的信道数量和带宽资源是非常有益的。
文献对支持WiFi和WiMax的无线环境中的无线链路实时切换技术进行了研究,其研究结果表明,使能OpenFlow可以实现移动设备在多种不同无线链路之间的无缝切换,同时在单个传输通道信号不足或出现较为严重的丢包情况下,可以通过多条相同链路实现对单条流数据的复制传输,以提升无线链路的数据传输能力。在其实时多播和单播视频演示中,可提升用户观看视频的流畅性和清晰度,进而提高用户体验质量。
3.3 网络虚拟化
随着服务器、桌面、应用、存储等虚拟化技术的广泛应用,网络虚拟化成为云计算和数据中心技术发展的迫切需求。网络虚拟化的目的是为了在共享的同一物理网络资源上划出逻辑上独立的网络,以满足多租户、流量隔离和逻辑网络自由管控的应用趋势。成熟的虚拟局域网(VLAN)就是一种典型的网络虚拟化技术,但它最多能够划出4096个逻辑网络,在一个拥有成千上万台物理服务器主机、同时每个物理服务器上运行十几个虚拟机的大二层网络上是难以满足需求的。尽管业界针对此种应用需求提出了VXLAN(virtualextensiblelocalareanetwork,虚拟可扩展局域网)和NVGRE(networkvirtualizationusinggeneralrouteencapsulation,网络虚拟化使用通用路由封装)等隧道封装的虚拟化技术手段,但由于其复杂性、低效性和兼容性问题,使得推广和应用起来非常困难。
SDN网络对基础网络硬件设施进行整网抽象,应用层只会看到控制器抽象过的全局或局部网络视图,为网络虚拟化实现提供了天然优势。若把SDN网络类比为主机服务器,则基础网络设施即为服务器硬件资源,控制器即为网络操作系统(networkoperatingsystem,NOS),SDN应用即为主机应用程序,网络虚拟化既可以在NOS之下设计网络超级管理者(networkhypervisor)实现,也可以在控制器上增加虚拟抽象层实现。开源项目FlowVisor从NetworkHypervisor角度出发实现网络虚拟化,通过划分流表空间产生独立的网络分片。各个网络分片上的网络流量是相互隔离的,用户可在各个分片上进行互不干扰的各种流量模型和协议创新等实验研究。现在FlowVisor已经被广泛应用到多个研究机构的实验平台上,并在全球OpennetSummit(开放网络峰会)上为各种SDN创新应用提供了共享同一套物理网络资源的演示环境,如图4所示。
文献认为FlowVisor对虚拟化网络支持得不够,因为它划出的网络分片限制于物理拓扑的子集,为此提出了改进版ADVisor(advancedflowvisor),以保证分片之间流量不会相互干扰的情况下又能共享无法共享的流表空间。文献实现了基于FlowVisor的网络虚拟化,并对FlowVisor进行了增强,实现了管理控制和最小带宽保证模式,并测试了传输带QoS保证视频流时的性能。
在控制器上增加虚拟抽象层实现,有利于SDN应用层只看到整网视图的局部,并提供更加抽象的网络资源描述,实现更加灵活的编程。例如,应用层可以通过针对标志的高层编程把用户划分到不同的组,并为每个组定制服务质量和安全策略;网络维护人员只需看到网络拓扑及各条链路的流量分布,就可以判断出网络性能瓶颈和流量是否正常。
从当前研究进展来看,人们已经利用SDN网络虚拟化优势在解决云计算/数据中心网络中存在的IP地址重叠、跨子网虚拟机迁移、跨数据中心业务迁移困难、STP/MSTP收敛速度慢、环路链路资源浪费、无法为多租户提供等截面带宽等问题展开了广泛的研究和实践。
3.4 QoS保证
IP分组网络存在的QoS无法保证问题是与生俱来的。因为它从设计开始就强调网络可达性,是根据目的IP地址逐跳路由转发的,所以与电路交换网络提供可靠连接的方法不同,无法提前为端到端提供QoS带宽资源预留。尽管后来IETF组织提出了基于资源预留协议RSVP的集成服务InterServ和通过IP头部的ToS(typeofservice,服务类型)字段实现的差分服务DiffServ,但由于需要更新整网交换/路由设备,同时还要管理员手工操作,使得上述两种技术均难以被推广部署。尽管人们在QoS保证方面进行了许多努力,但多数方案是通过隔离网络方式或过多提供网络资源来解决,这就造成了管理复杂和成本的增加。SDN网络由于可以通过对控制器编程自由操控流量,对整网QoS规划自然有先天优势,于是借鉴SDN解耦控制与转发和对网络集中式管控的思想提供QoS保证的也成为一个重要的方向。文献描述了一种OpenFlow/SDN网络环境中支持QoS流的体系结构,经过对可伸缩编码视频的基本层和增强层码流进行区分路由(前者要求没有任何错误由保证QoS的通道路由,后者可错误恢复由“尽力而为”通道路由)的实验验证,在出现网络拥塞情况时通过动态重路由需要保证QoS的基本层码流,使得视频整体信噪比得到了重要的改善,证明了SDN网络对流量操控的灵活性和提供有QoS保证数据转发通道的可行性。文献对OpenFlow扩展了一组新的QoSAPIs,提出了一种精细化自动满足QoS需求的QoS控制器,该控制器能够创建不同网络分片以适配不同流量模型的应用,而每个分片的QoS需求可通过上层编写分片规范来描述QoS需求(如最大带宽、延迟等),最终通过QoS控制器转换为OpenFlow流表规则,以实现对底层交换的自动化配置。
4、结束语
SDN是一种新兴的网络架构,属于下一代网络技术研究范畴,但又与其他下一代网络技术研究方向有很大区别:既可继承现有网络技术,也可不依赖于现有网络技术独立发展;既顺从当前新的应用趋势,也符合控制、转发分离的思想,目的是对现有复杂的网络控制面进行抽象简化,使能控制面独立创新发展,使得网络面向应用可编程。由于SDN技术刚刚提出,目前依然还存在许多新的技术问题需要解决,如分离转发和控制面的OpenFlow协议的完善、上层应用与控制器间开放接口的定义及标准化、适配统一流表的转发芯片设计、控制器可伸缩性及可靠性等。但它对复杂网络控制面进行抽象简化的革新思想却启发了众多网络研究者,他们借鉴SDN思想对传感器网络、无线/有线接入网络、光互连网络、分组/电路融合网络等在数据转发、统一管控等诸多方面展开了广泛研究。本文对SDN技术发展现状及研究方向进行了分析总结,希望对后续从事SDN技术的研究人员有一定的启示作用。
核心关注:拓步ERP系统平台是覆盖了众多的业务领域、行业应用,蕴涵了丰富的ERP管理思想,集成了ERP软件业务管理理念,功能涉及供应链、成本、制造、CRM、HR等众多业务领域的管理,全面涵盖了企业关注ERP管理系统的核心领域,是众多中小企业信息化建设首选的ERP管理软件信赖品牌。
转载请注明出处:拓步ERP资讯网http://www.toberp.com/
本文标题:软件定义网络研究综述
本文网址:http://www.toberp.com/html/consultation/10839311253.html