并行计算,第一级,第二级,第三级,第一级,第二级,第三级,现代密码学理论与实践之五,*,*,并 行 计 算,中国科学技术大学计算机科学与技术系,国家高性能计算中心,(,合肥,),2003,年,9,月,2024/10/27,1,现代密码学理论与实践之五,PC,机群的搭建,机群系统概述,硬件的选择与安装,软件的选择与安装,机群系统性能评测,2024/10/27,2,现代密码学理论与实践之五,机群系统概述,什么是机群？,机群是一组独立的计算机（节点）的集合体，节点间通过高性能的互连网络连接；各节点除了可以作为一个单一的计算资源供交互式用户使用外，还可以协同工作并表现为一个单一的、集中的计算资源供并行计算任务使用一种造价低廉、易于构筑、并且具有较好可扩放性的并行机体系结构,2024/10/27,3,现代密码学理论与实践之五,发展迅速的原因,作为机群节点的工作站系统的处理性能越来越强大，更快的处理器和更高效的多CPU机器将大量进入市场；,随着局域网上新的网络技术和新的通信协议的引入，机群节点间的通信能获得更高的带宽和较小的延迟；,机群系统比传统的并行计算机更易于融合到已有的网络系统中去；,机群上的开发工具更成熟，而传统的并行计算机上缺乏一个统一的标准；,机群价格便宜并且易于构建；,机群的可扩放性良好，节点的性能也很容易通过增加内存或改善处理器性能获得提高。
2024/10/27,4,现代密码学理论与实践之五,重要特征,机群的各节点都是一个完整的系统，节点可以是工作站，也可以是PC机或SMP机器；,互连网络通常使用商品化网络，如以太网、FDDI、光通道等，部分商用机群也采用专用网络互连；,网络接口与节点的I/O总线松耦合相连；,各节点有一个本地磁盘；,各节点有自己的完整的操作系统2024/10/27,5,现代密码学理论与实践之五,分类,根据不同的标准，可有多种分类方式,针对机群系统的使用目的可将其分为三类：,高性能计算机群,负载均衡机群,高可用性机群,2024/10/27,6,现代密码学理论与实践之五,典型机群系统,Berkeley NOW,Beowulf,COTS,（,Commodity off the shelf,）,LAMP,SMP,cluster,2024/10/27,7,现代密码学理论与实践之五,PC,机群的搭建,机群系统概述,硬件的选择与安装,软件的选择与安装,机群系统性能评测,2024/10/27,8,现代密码学理论与实践之五,硬件的选择与安装,节点构建,处理器、内存、总线、磁盘与,I/O,系统构建,网络适配卡、交换机,机群系统示例,天体物理中心,64,个节点,PC,机群,1,个服务节点（兼作计算节点）和,63,个计算节点,2024/10/27,9,现代密码学理论与实践之五,机群系统示例,服务节点配置,：,CPU,：,Pentium 2.0G,（,512KB,全速二级缓存）,内存：,1G,（,2,512M,）,Rambus,硬盘：,80GB IDE,主板：,ASUS P4T Socket 423,网卡：,3com 905 TX,（两个）,显卡、显示器、键盘、鼠标、光驱、软驱：略,计算节点配置：,CPU,：,Pentium 1.5G,（,512KB,全速二级缓存）,内存：,512MB,（,2,256M,）,Rambus,硬盘：,40GB IDE,主板：,ASUS P4T Socket 423,网卡,：,3com 905 TX,2024/10/27,10,现代密码学理论与实践之五,机群系统示例,交换设备由2个3com 3c16980和1个3com 3c16985的交换机通过一个matrix module堆叠而成，并安装了一个千兆光纤模块，以备服务接点连接内部机群的网卡升级为千兆网卡。
2024/10/27,11,现代密码学理论与实践之五,PC,机群的搭建,机群系统概述,硬件的选择与安装,软件的选择与安装,机群系统性能评测,2024/10/27,12,现代密码学理论与实践之五,软件的选择与安装,OS,的选择,SSI,的构建,编程环境的选择,2024/10/27,13,现代密码学理论与实践之五,OS的选择,Windows,UNIX,Linux,机群系统示例,Redhat 7.2,版本（内核）,2024/10/27,14,现代密码学理论与实践之五,SSI的构建,单一系统映像,SSI,（,Single System Image,）,单一系统,：尽管系统中有多个处理器，用户仍然把整个机群视为一个单一的系统来使用,单一控制,：逻辑上，最终用户或系统用户使用的服务都来自只有唯一接口的同一个地方,对称性,：用户可以从任一个节点上获得机群服务，也就是说，对于所有节点和所有用户，除了那些对一般访问权限作保护的服务和功能外，所有机群服务和功能都是对称的,位置透明,：用户不用了解真正执行服务的物理设备的位置,2024/10/27,15,现代密码学理论与实践之五,SSI提供的三种服务,单一登录（,Single Sign On,）,单一文件管理（,Single File Hierarchy,）,单一作业管理系统,(Single Job Management System),2024/10/27,16,现代密码学理论与实践之五,单一登录（Single Sign On）,两种方法,网络信息系统,NIS,（,Network Information System,）,Shell,脚本（,Shell Script,）,2024/10/27,17,现代密码学理论与实践之五,网络信息系统NIS,服务器端：,设置,NIS,域名：,在文件,/etc/sysconfig/network,中添加如下一行,：,NISDOMAIN=PCCluster,初始化数据库：,运行,/usr/lib/yp,目录下的,ypinit,命令初始化系统信息数据库：,node0,#/usr/lib/ypinit m,启动守护进程：,在,/etc/rc.d/rc3.d,目录下增加两个链接，以便系统在启动时自动载入守护进程：,node0,#cd/etc/rc.d/rc3.d,node0,#ln s./init.d/ypserv S61ypserv,node0,#ln s./init.d/yppasswdd S61yppasswd,2024/10/27,18,现代密码学理论与实践之五,网络信息系统NIS,客户端：,在客户节点上（,node1,到,node63,）运行,setup,命令，然后在出现的对话框中选择“,Authentication Configuration”,，选择,NIS,，填入域名,PCCluster,以及服务器名,node0,；并在文件,/etc/passwd,中加入以下一行：,+,：,0,：,0,：,2024/10/27,19,现代密码学理论与实践之五,Shell脚本,NIS：设置方便，但是采用客户服务器模式，在应用启动的时有可能产生瓶颈。
为了提高性能，我们可以采用Shell脚本的方式来完成同样的工作例如，对用户信息的管理，可以创建一个名为cluster_user的脚本，负责在其所在结点上创建新的用户，而后再将相关的配置文件（/etc/passwd、/etc/groups）复制到机群系统中所有其它节点，这里要注意的一点是用户的主目录应该建立在全局共享的分区中（NFS共享）对其它的一些信息，比如/etc/hosts和/etc/host.equiv等文件可同样处理2024/10/27,20,现代密码学理论与实践之五,单一文件管理,NFS是一种Unix/Linux之间通过网络共享文件的标准方式使用NFS，就能够透明的安装和访问网络上远程主机的文件系统，将其安装（mount）在本地的文件系统中，类似于Windows下的映射驱动器示例机群：节点node0是服务器，把目录/home和/Cluster进行共享；节点node1到node63是客户端，把服务器的/home和/Cluster安装到自己的文件系统当中2024/10/27,21,现代密码学理论与实践之五,单一文件管理,服务器端：,(1),启动服务进程：,NFS,服务器需要使用守护进程,nfsd,和,mountd,，通过在目录,/etc/rc.d/rc3.d,之下增加链接可以使系统在启动时自动载入这两个进程：,node0,#cd/etc/rc.d/rc3.d,node0,#ln s./init.d/nfs S60nfs,2024/10/27,22,现代密码学理论与实践之五,单一文件管理,(2),设置共享目录：首先，在根目录下建立目录,/home,和,/Cluster,。
node0,#mkdir home,node0,#mkdir Cluster,然后，在文件,/etc/exports,当中增加以下几行/,home node1(rw),/Cluster node1(rw),/,home node63(rw),/Cluster node63(rw),这几行的意思是将服务器上的,/home,和,/Cluster,目录进行共享，设置节点,node1,到,node63,可以访问，,rw,表示允许读和写（缺省为只读）这里要注意的一点是所有用到的主机名必须在文件,/etc/hosts,中给出,ip,地址，例如：,192.168.0.11node1,2024/10/27,23,现代密码学理论与实践之五,单一文件管理,客户端：,在文件,/etc/fstab,当中加入两行：,node0:/home/homenfs,node0:/Cluster/Clusternfs,当然，相应的要在文件,/etc/hosts,中给出主机,node0,的,ip,地址：,192.168.0.10node0,这样就完成了,NFS,在机群系统中的设置，以后所有用户的主目录都可以设置在,/home,中，所有可以共享安装的软件可以放在,/Cluster,中。
2024/10/27,24,现代密码学理论与实践之五,单一作业管理系统,用户可以透明地从任一节点提交一项作业，作业可以调度为以批处理、交互或并行的模式运行,用户服务器、任务调度器、资源管理器,典型的作业管理系统,PBS,（,Portable Batch System,）,LSF,（,Load Sharing Facility,）,Condor,JOSS,PBS,的安装,2024/10/27,25,现代密码学理论与实践之五,软件的选择与安装,OS,的选择,SSI,的构建,编程环境的选择,2024/10/27,26,现代密码学理论与实践之五,编程环境的选择,流行的编程软件,MPI,、,OpenMP,、,HPF,MPICH,的安装及配置,示例机群中构建了单一映象系统64,个节点（,node0,到,node63,）中,node0,共享,./Cluster,目录给所有其它节点这样只需将,MPICH,安装在这个共享目录中即可，即整个系统中只需安装一次2024/10/27,27,现代密码学理论与实践之五,MPICH的安装,MPICH,是一个开放源码的软件，所以可以从网上免费获取它的源代码用户可以直接从,MPICH,的主页下载最新的软件包，然后将它置于,/Cluster,目录下。
使用如下命令解压缩源代码：,node0,#tar zxf,解压缩后会生成一个名字为的目录2024/10/27,28,现代密码学理论与实践之五,MPICH的安装,进入该目录，并执行位于该目录下,configure,脚本，为下一步编译源代码进行准备该配置脚本可以接受很多的参数（,Options,），通过运行命令如下：,node0,#./configure help,可以获取更详细的参数信息这里只列举几个最常用的参数：,-prefix,：指定,mpich,的安装目录with-device,：指明所使用的通信系统类型一般情况下我们使用,ch_p4,，它表示通常的,TCP/IP,通信系统with-ar。
