首页专业论文技术应用政策标准解决方案常用资料经验交流教育培训企业技术专家访谈电力期刊
您现在的位置:北极星电力网 > 技术频道 > 专业论文 > 网格体系结构的研究现状

网格体系结构的研究现状

北极星电力网技术频道    作者:3   2007/12/21 16:23:32   

 关键词:  研究现状 现状 研究

摘要:网格技术目前已成为e-business和e-science的研究热点。网格体系结构是构建网格系统的基础。本文在分析科学计算网格、数据网格、知识网格、WEB服务网格等多种网格体系结构的基础上,给出网格体系结构研究的最新成果,并指出网格体系结构研究的热点及有待解决的问题。
关键词:网格网格体系结构网格协议

一、引言

网格[1]是一种元计算技术(Metacomputing)[5],它就是将物理上分布、系统异构的多种计算资源通过高速网络连接起来,共同解决大型应用问题。网格体系结构主要是研究网格系统的基本功能结构及各功能实体间的接口关系。国外已有很多项目在进行网格研究,比较重要的有Globus[15]和Legion[16]以及近来投入商用的WebService[12]等,它们都对网格体系结构的研究作出了巨大的贡献。网格在产生初期主要集中在高性能的科学计算及仿真领域,现在的网格计算不再局限于此,已出现了不同应用领域的网格,参见图一所示。面向不同应用领域的网格系统,在功能体系上有不同的特征及要求,而网格体系结构则研究的是一般网格系统的通用功能体系及其相互关系,它是对各专用网格系统的抽象与概括。本文的主要目的是通过对科学计算网格、数据网格、知识网格及Web服务网格体系结构的分析,给出网格体系结构研究的最新研究成果,并指出它研究的主要问题及下一步的研究方向。

二、面向科学计算及仿真应用的网格体系结构

固名思义,面向科学计算及仿真应用网格的基本功能,就是利用网格技术将多种复杂的分布式的计算资源组织起来,形成一个分布式、松耦合的巨型计算系统,该计算系统的主要任务是完成超大规模的、复杂的仿真和计算任务,如中长期天气预报、航空航天跨领域的安全仿真等等。科学计算及仿真应用网格是目前研究最早成果最多的网格,它也是网格研究的起点,该网格的基本体系结构如图二[14]所示。
图一网格应用的分类科学计算网格体系结构的基本特征是系统中虽然有数据,但主要问题或关键问题是组织、访问和管理计算任务,这是因为科学计算问题一般都是计算密集型问题,其CPU的开销是巨大的,因此,如何将一个大问题分解为并发的任务,并将这些任务分配到多个异构的计算系统中去,同时将这些并发的任务有机的组织起来,以尽量小的管理开销达到完成一个共同计算任务的目的,则成为科学计算网格的中心任务。从图二可以看出,该网格体系结构大致可分为应用层、网格通用服务及本地资源层。从网格通用服务来看,它是靠建立一组通用服务完成与各本地资源的通信连接,并为上层应用提供访问接口。在广域范围内的科学计算问题的核心是性能问题,在目前的技术条件下,影响科学计算网格性能的一个重因素是通信问题,因为各计算任务之间往往存在大量的数据交换,但是因目前的通信技术还难以满足在这样大的范围内进行大吞吐量的数据交换,因此要尽可能减少因通信而带来的性能下降。这就要求在任务管理和分配的过程中,要进行任务的优化,要尽量使计算和通信过程重叠,提高系统的并发程度,增加计算粒度,减少任务之间的耦合度或用冗余的计算减少通信开销,或者在通信传输上采用一些新技术提高传输效率,如集结成组传输、数据压缩、调整传输协议的某些参数或采用特殊协议等等。因此在应用过程中,应注意在计算精度与通信能力之间作出平衡。从科学计算网格的体系结构可以看出,这类网格对通信服务及任务分解及调度提出较高的要求。科学计算网格的实例是Cactus,Globus[15]是科学计算网格系统一个最著名的组件,它的概念、功能、组成及结构对现在网格的研究有着重要的影响。对通用网格服务的研究是网格体系结构研究的重要内容,从图二可以看出,通用网格服务包含很多方面,它们的功能及层次成不一样。但它们的总体功能是完成网格资源的统一访问,为上层应用提供统一的访问接口(API或SDK),有的是为了统一异构资源的访问接口,协调多个用户同步访问同一资源的问题;有的是完成多个资源的聚集管理,包括查找、分类等等
图二科学计算网格的体系结构总体上讲,科学计算网格至少需要具备三种基本功能:(1)任务管理,用户通过该功能向网格提交任务、为任务指定所需资源、删除任务并监测任务的运行状态;(2)任务调度,用户提交的任务由该功能按照任务的类型、所需资源、可用资源等情况安排运行日程和策略;(3)资源管理,确定并监测网格资源状况,收集任务运行时的资源占用数据。

三、数据网格的体系结构

数据网格[14]是以大规模数据的共享、存贮、传输及分析为基本特征。初期的数据网格项目就是为了管理高能物理试验的海量数据而建立的,数据网格系统一般都有海量数据的联
图三数据网格的体系结构机采集系统,如高能物理仪器,它可以以Pbytes/Sec量级产生数据;高速数据传输,根据不同的应用,数据传输速率从100M—2.5G不等;从地域上讲,可跨世界多个国家和地区。海量数据的共享、访问、控制、管理及传输是数据网格的核心问题。著名的数据网格有EUDataGrid和GriphyN等。数据网格的体系结构参见图三[14]所示。从图三可以看出,数据网格体系结构中最明显的特征是在网格通用服务层中增加或强化了一些数据库或数据管理服务,如数据管理(DataManagement)、元数据管理(MetadataManagement)、对象-文件的映射(Object-FileMapping)、复制管理(ReplicationManagement)、SQL数据库服务(SQLDatabaseServer)、复制目录(ReplicaCatalog)等。数据网格以海量数据的存贮、传输、共享及分析为基本任务,因此数据网格必须如下能力:分析任务的能力,主要完成海量数据的分析,并对分析结果进行可视化处理,以便用户使用;随时掌握网络中资源的能力;执行任务程序的能力,可根据用户需要执行分析程序;任意数据传输的能力,数据传输是数据网格基础通信服务,它对通信能力的要求相当高,突发强;判定和保障服务质量的能力;从错误中恢复的能力等等。数据网格的实例就是欧洲的数据网格(EUDataGrid),它主要为高能物理研究而建立的,还有其它诸多数据网格项目如下:ParticlePhysicsDataGrid(US,DOE),GriPhyN(US,NSF),iVDGL(US,NSF),TeraGrid(US,NSF),EuropeanDataGrid(EU,EC),DataTAG(EU,EC),JapaneseGridProjects(APGrid,Japan)。数据网格是近来发展最快的项目。

四、知识网格的体系结构

知识网格与数据网格的主要区别在于知识网格的数据结构及数据之间的关系更加复杂,它主要反映在如下几个方面:数据对象的来源多样化,数据对象的信息,即属性更加复杂,数据对象的知识,即数据对象之间的关系结构复杂化,难以用传统数据库的二维关系来表达。有关知识网格的数据层次参见图四[14]所示。由图四可以看出,知识网格对于网格通用服务的需求主要有如下几个方面:(1)FileldsContainersFolders,这部分的功能可以由数据网格中的网格信息服务、通用资源访问及代理服务等功能完成;(2)Storage(Replicas,PersistentIDs)的功能由数据网格的复制管理器完成;(3)Feature-basedQuery则是一个新的功能要求,它要求底层的通用网格服务,比如网格知识管理器中就需要LoadableFilters这样新的功能服务,因此,知识网格是与一般数据网格是不一样的。
图四知识网格的信息层次结构目前知识网格属于智能信息处理的范畴,与它相关的内容有语义网(SemanticWeb)、知识管理(KnowledgeManagement)、知识本体(Ontology)、智能主体(Agents)、信息网格、一体化智能信息平台等

五、WEB服务网格的体系结构

WEB服务网格[12]代表商业应用的WEB服务技术(如IBM的WebService,Microsoft的.Net等)与面向科学和工程领域的网格技术的相互融合。所谓的WEB服务就是以独立于平台的方式,通过标准的WEB协议,可以由程序访问的应用程序逻辑单元[17]。WEB服务主要是由IT公司如IBM、Microsoft、HP及SUN等在INTERNET上定义或规范的一个开放的,面向WEB应用的标准。在这样的网格系统中,一切皆是服务,系统的功能单元要么是服务的提供者,要么是服务的消费者,它的体系结构参见图五[17]所示。
图五面向服务的网格体系结构Web服务网格大大地拓展了网格的应用领域,并且给网格技术的发展注入更多的活力,它直接导致了OGSA(OpenGridServiceArchitecture)的诞生,在INTERNET上引入了商业性的网格服务,为网格应用展现出美好的前景。目前在企业界有这样的趋势:将现有的Internet/Web技术和网格技术相结合,把因特网上的资源整合成一台超级服务器,有效地提供内容服务、计算服务、存储服务、交易服务、内容分发(ContentsDelivery)、服务分发(ServiceDelivery)、电子服务(e-service)、实时企业计算(Real-TimeEnterpriseComputing,简称RTEC)、分布式计算、Peer-to-PeerComputing、Web服务(WebServices)以及网上联机游戏等等。

六、网格体系结构的研究现状

通过上述分析可以看出,不同应用领域的网格有不同的结构特征和功能特征,它们对网格体系结构的研究产生了相当大的影响,如数据网格直接扩展网格体系结构的功能单元,它在网格服务中增加了SQL DatabaseService功能单元;WebService网格拓展了网格的应用范围,使网格体系结构更具代表性;知识网格则对原有的网格服务实施拓展,原有的功能服务中增加了loadableFilters服务等。目前,网格体系结构从形式上讲大概有四种主要形式:抽象层次结构、积木块结构、概念空间结构及混合结构。在抽象层次结构中,最重要最有代表性的就是五层沙漏结构。五层沙漏结构提出的比OGSA要早,它是一种以“协议”为中心的结构,强调协议在网格资源共享和互操作中的地位。五层结构曾经为网格体系结构的发展作出重要的贡献,使人们认识到了“网格体系结构”是非常重要的。要开发网格就必须得先设计出合理的网格体系结构。在五层结构所提出的“协议”概念的基础上,OGSA吸收Web服务的思想,提出“网格服务”的概念。人们在研究中发现,在许多情况下,复杂的服务或者应用很难分解为标准而低级的基本协议,而且人们在解决问题时也不习惯于按照协议的方式来进行,因此就提出了积木块结构的思想,通过对网格应用与服务中最常见的基本构造块的定义,来设计网格体系结构,这和我们传统的功能模块的思想是非常类似的。积木结构和层次抽象结构具有一定的对应关系,比如底层的构造块往往和层次结构的底层相对应,高级的功能块往往和层次结构的高层相对应。另外一种网格体系结构的设计方法就是根据元数据、资源、服务、协议等概念的不同形成不同的概念空间,根据这些概念之间的关系形成网格体系结构,这一方法在数据网格中有具体的实例。这种结构的层次结构不是十分清晰,各部分的关系形成一个网状图,它强调的是各部分在概念上的关联。混合结构就是以上各种结构的组合。下面就简要介绍一下五层沙漏结构和OGSA。1.网格协议的结构目前网格协议的结构以IanFoster,CarlKesselman和StevenTuecke的五层沙漏结构[13]最具代表性,其分层结构参见图六[13]所示。(1)构造层(Fabric):提供共享的资源,它们是物理或逻辑实体。(2)连接层(Connectivity):它是网格中网络事务处理、通信与授权控制的核心协议。(3)资源层(Resource):对单个资源实施控制,实现资源注册、资源分配和资源监视。(4)汇集层(Collective):资源汇集,供虚拟组织的应用程序共享、调用。提供目录服务、日程安排、资源代理、资源监测诊断、网格启动、负荷控制、账户管理等多种功能。(5)应用层(Applications):通过各层的API调用相应的服务,再通过服务调用网格上的资源来完成任务。需要构建支持网格计算的库函数。五层沙漏结构是一种以“协议”为中心的结构,强调协议在网格的资源共享和互操作中的地位。为此根据与底层具体物理资源的距离,从下到上将网格划分为五层,分别是构造层(fabric),连接层(connectivity),资源层(resource),汇聚层(collective)和应用层(application)。五层结构的一个重要特点就是“沙漏”形状,其原因就在于各层协议的数量是不同的,其最核心的部分,由于既要能够实现上层各种协议向自身协议的映射,同时实现自身协议向下层其它各种协议的映射,且核心协议在所有支持网格计算的地点都应该得到支持,所以核心协议的数量不应该太多,这样核心协议就形成了协议层次结构中的一个瓶颈,在五层结构中,资源层和连接层共同组成这一核心的瓶颈部分。五层结构曾经为网格体系结构的发展作出重要的贡献,使人们认识到了“网格体系结构”是非常重要的。要开发网格就必须得先设计出合理的网格体系结构。
图六 网格协议的分层结构从图六可以看出,网格系统由以下几部分组成:(1)网格资源层是构成网格系统的硬件基础,它包括各种计算资源,如超级计算机、贵重仪器、可视化设备、现有应用软件等,这些计算资源通过网络设备连接起来。网格资源层仅仅实现了计算资源在物理上的连通,但从逻辑上看,这些资源仍然是孤立的,资源共享问题仍然没有得到解决。因此,必须在网格资源层的基础上通过网格服务(网格中间件层)来完成广域计算资源的有效共享。(2)网格通用服务又称网格中间件层或网格操作系统,是一系列工具和协议软件,其功能是屏蔽网格资源层中计算资源的分布及异构特性,向网格应用层提供透明一致的使用接口,同时需要提供用户编程接口和相应的环境,以支持网格应用的开发。(3)网格应用层是用户需求的具体体现,在网格通用服务的支持下,用户可以使用其提供的工具或环境开发各种应用系统。能否在网格系统上开发应用系统以解决各种大型计算问题是衡量网格系统优劣的关键。2.OGSA(OpenGridServiceArchitecture)OGSA[9,10,11]最突出的思想就是以“服务”为中心。在OGSA框架中,将一切都抽象为服务,包括计算机、程序、数据、仪器设备等,这有利于通过统一的标准接口来管理和使用网格。WebService提供了一种基于服务的框架结构,但是WebService面对的一般都是永久服务,而在网格应用环境中,大量的是临时性的短暂服务,比如一个计算任务的执行等。考虑到网格环境的具体特点,OGSA在原来WebService服务概念的基础上,提出了“网格服务(GridService)”的概念,用于解决服务发现、动态服务创建、服务生命周期管理等与临时服务有关的问题。基于网格服务的概念,OGSA将整个网格看作是“网格服务”的集合,但是这个集合不是一成不变的,是可以扩展的,这反映了网格的动态特性。网格服务通过定义接口来完成不同的功能,服务数据是关于网格服务实例的信息,因此网格服务可以简单地表示为“网格服务=接口/行为+服务数据”。在OGSA的定义中,只有GridService接口是必需的,其它的接口如NotificationSource、NotificationSink、Registry、HandleMap等都是可选的。目前,网格服务提供的接口还比较有限,如表格1所示,OGSA还在不断的完善过程之中,下一步将考虑扩充管理、安全等方面的内容。表格1网格服务的接口[11]接口操作描述GridServiceFindServiceData查询网格服务实例的各种信息SetTerminationTime设置并得到网格服务实例的终止时间Destroy终止网格服务实例NotificationSourceSubscribeToNotificationTopic向通知发送者进行登记。UnSubscribeToNotificationTopic取消登记NotificationSinkDeliverNotification异步发送消息RegistryRegisterService网格服务句柄的软状态注册UnRegisterService取消注册的网格服务句柄FactoryCreateService创建新的网格服务实例PrimaryKeyFindByPrimaryKey返回根据特定键值创建的网格服务句柄DestroyByPrimaryKey撤销特定键值创建的网格服务实例HandleMapFindByHandle返回与网格服务句柄相联系的网格服务实例在OGSA中,可以基于简单的基本服务,形成更复杂、更高级、更抽象的服务。比如一个复杂的计算问题所需要的服务,包括网络、存储、数据查询、计算资源等各方面的服务,可以将这些基本的服务组织起来,形成一个高级的抽象服务,方便地为应用提供支持。以网格服务为中心的模型具有如下好处:(1)由于网格环境中所有的组件都是虚拟化的(virtualized),因此,通过提供一组相对统一的核心接口,所有的网格服务都基于这些接口实现,就可以很容易地构造出具有层次结构的、更高级别的服务,这些服务可以跨越不同的抽象层次,以一种统一的方式来看待;(2)虚拟化也使得将多个逻辑资源实例映射到相同的物理资源上成为可能,在对服务进行组合时不必考虑具体的实现,可以以底层资源组成为基础,在虚拟组织(VirtualOrganization)中进行资源管理。通过网格服务的虚拟化,可以将通用的服务语义和行为,无缝地映射到本地平台的基础设施上。基于网格服务的体系结构参见图五所示,为了实现不同平台上的网格服务通过Publish、Find、Bind等三个操作进行互通,必须要有一个标准的协议栈来规范不同层次的功能互通,其协议栈结构参见图七所示。网格服务的基础是网络,一个网格服务必须可由Requestor通过网络进行访问;网络之上是消息管理,它包括信息表示及收发等,目前的OGSA采用与WebService同样的消息表语言XML;服务描述主要指服务的接口描述,包括其行为,数据等,服务描述主要是生成一个服务描述文档,其语言目前为WSDL,它是基于XML的一个描述语言。至于服务的发布和发现则是一个规范工作流程。
图七 基于服务的概念性协议结构OGSA是结合WebService技术,在综合网格计算研究成果的基础上提出来的,还在发展之中,Globus153.0将对OGSA进行比较全面的支持,这些相关工作对OGSA的发展无疑是十分重要的。

七、结论

网格计算是一个正在迅速发展的研究领域,网格体系结构可以说是网格建设中的核心技术。由于组成网格系统的资源是广域分散的,不再局限于单台计算机和小规模局域网范围内,因此网格系统的体系结构是我们必须首先解决的问题。简言之,网格系统有哪些组成部分、组成部分之间的关系以及如何协同工作是网格体系结构研究需要解决的问题。从网格体系结构的角度看,网格计算的关键技术有:1.统一的资源访问接口:网格结点就是网格计算资源的提供者,它包括高端服务器、集群系统、MPP系统大型存储设备、数据库等。这些资源在地理位置上是分布的,系统具有异构特性,功能上也有非常大的差别,即使是同类资源在功能上也可能有较大的差别,如何统一这些资源的访问接口,是网格体系结构研究的基础性问题.2.宽带通信服务:宽带网络系统是在网格计算环境中,提供高性能通信的必要手段。通信能力的好坏对网格计算的性能影响甚大,要做到计算能力“即连即用”必须要高质量的宽带网络系统支持。用户要获得延迟小、可靠的通信服务也离不开高速的网络。3.资源管理和任务调度:计算资源管理工具要解决资源的描述、组织和管理等关键问题。任务调度工具是根据当前系统的负载情况,对系统内的任务进行动态调度,提高系统的运行效率,它们属于网格计算的中间件。4.系统监测服务:高性能计算系统的峰值速度可达百万亿次/秒,但是实际的运算速度往往与峰值速度有很大的距离,其主要原因在于高性能并行计算机的并行程序与传统的串行程序有很大差异。如何帮助使用人员充分利用网格计算中的资源,就要靠性能分析和监测服务,这对监视系统资源和运行情况十分重要。5.网格服务的最小集是什么?它们之间的关系怎样?有哪些服务就足够了?6.不同网格系统的统一的体系结构究竟是什么?。7.网格系统的安全、认证与计费服务等一些具体内容及策略都有待于解决。

参考文献:

[1]FosterandC.Kesselman,TheGrid:BlueprintforaNewComputingInfrastructure,MorganKaufmann,SanFransisco,CA,1999.http://mkp.com/grids,http://www.gridforum.org/,http://www.ccgrid.org/[2]IANFOSTER,“InternetComputingandtheEmergingGrid”NatureWebMatters,7December2000,http://www.nature.com/nature/webmatters/grid/grid.html[3]Foster做的关于网格计算的演讲材料,可从如下网址下载:http://www-fp.mcs.anl.gov/~foster/Talks/WWWGridsMay2002.ppt;http://www-fp.mcs.anl.gov/~foster/Talks/GridTutorial.ppt[4]I-WAYProject。http://www.iway.org/;http://archive.ncsa.uiuc.edu/General/Training/SC95/I-WAY.nextgen.html[5]L.SmarrandC.Catlett,Metacomputing,CommunicationoftheACM,Vol.35.No.6(1992),pp.44-52.[6]FosterandC.Kesselman,Globus:AMetacomputingInfrastructureToolkit,InternationalJournalofSupercomputerApplications,11(2):115-128,1997。TheGlobusproject:http://www.globus.org/[7]Grimshaw,A.,Ferrari,A.,Knabe,F.,Humphrey,M.:Legion:AnOperatingSystemforWideAreaComputing.Dept.ofComp.Sci.,U.ofVirginia,Charlottesville,Va.Availableat8ftp://ftp.cs.virginia.edu/pub/techreports/CS-99-12.ps.ZandTheLegionProject:http://legion.virginia.edu/[8]GlobalGridForumHomePage。http://www.globalgridforum.com/[9]OGSA结构描述,http://www.gridforum.org/ogsi-wg/drafts/ogsa_draft2.9_2002-06-22.pdf,http://www.Globus.org/ogsa/[10]OGSA规范,http://www.gridforum.org/ogsi-wg/drafts/GS_Spec_draft03_2002-07-17.pdf[11]Foster,I.;Kesselman,C.;Nick,J.M.;Tuecke,S.“Gridservicesfordistributedsystemintegration”,Computer,Volume:35Issue:6,June2002,Page(s):37-46[12]WebService工作组,http://www.w3.org/2002/ws/[13]Foster,I.“Theanatomyofthegrid:enablingscalablevirtualorganizations”,CCGRID2001(FirstIEEE/ACMInternationalSymposiumonClusterComputingandtheGrid),Page(s):6–7[14]网格体系结构工作组。http://www.globalgridforum.com/5_ARCH/GPA.htm,http://grid.lbl.gov/GPA/ExampleArchitectures.ppt[15]TheGlobusProject,http://www.globus.org/[16]LegionProject,http://www.cs.virginia.edu/~legion/[17]RussBasiura,MikeBatongbacal“ProfessionalASP.NetWebServices”

来源:佚名
友情链接
北极星工程招聘网北极星电气招聘网北极星火电招聘网北极星风电招聘网北极星水电招聘网北极星环保招聘网北极星光伏招聘网北极星节能招聘网招标信息分类电子资料百年建筑网PLC编程培训

广告直拨:   媒体合作/投稿:陈女士 13693626116

关于北极星 | 广告服务 | 会员服务 | 媒体报道 | 营销方案 | 成功案例 | 招聘服务 | 加入我们 | 网站地图 | 联系我们 | 排行

京ICP证080169号京ICP备09003304号-2京公网安备11010502034458号电子公告服务专项备案

网络文化经营许可证 [2019] 5229-579号广播电视节目制作经营许可证 (京) 字第13229号出版物经营许可证新出发京批字第直200384号人力资源服务许可证1101052014340号

Copyright © 2022 Bjx.com.cn All Rights Reserved. 北京火山动力网络技术有限公司 版权所有