您好,欢迎来到上海分类信息网
免费发信息

看看架设基于LINUX的服务器集群的介绍

2024-5-23 6:01:52发布5次查看ip:发布人:
随着internet的爆炸性增长,web服务器很容易在访问高峰期过载导致页面无法加载,因此就有了服务器集群,服务器集群可以更快处理这些问题,你知道如何架设基于linux的服务器集群吗?现在我们去看看架设基于linux的服务器集群的介绍。旗胜站长目录
1.什么是服务器集群
随着internet的爆炸性增长,internet与人的生活越来越息息相关,通过 internet上进行交易也就越来越受关注。近几年,电子商务的年增长均超过100%。服务器的工作量也迅速增长,所以服务器(特别是一个受人欢迎的 web服务器)很容易在访问高峰时期过载。
而另一方面,计算机从1946年单纯的科学计算任务到现在大量纷繁复杂的信息处理,工作量越来越大,需要越来越快的处理能力。所以计算机界就不得不不断研究更快的处理器,存储器,以适应这一需求。
然而,科学家们意识到,单块处理器的速度发展空间是有限的,为什么不能让计算机象人一样协同工作,“群策群力”地将工作完成好呢!这时,就掀起了“并行计算”的研究。
举个例子来说,我们架设了一台www服务器,上面构建了一个电子商务,然而随着时间的推移,名声越来越大,这时点击率也就越来越高,www服务器的负载也就越来越高。这种情况下,我们就必须提升www服务器的能力,以满足以益增长的服务请求。这时,我们就面临两种选择:
1)升级www服务器,采用更快的cpu,增加更多的内存,使其更具有power;但日益增长的服务请求又会使服务器再次过载,需要再次升级,这样就陷入了升级的怪圈。还有,升级时还得考虑到服务如何接续,能否中止!
2)增加www服务器,让多台服务器来完成相同的服务。
这种方法就是服务器集群,通过并行技术来大大提升系统性能。也就是这一章的主要内容,这种方法具有很好的扩展性,而且可以最大限度地利用已有投资。
1.1.集群的概念
集群,是一组独立的计算机系统构成一个松耦合的多处理器系统,它们之间通过络实现进程间的通信。应用程序可以通过络共享内存进行消息传送,实现分布式计算机。
近几年来,微处理器、内存、总线技术、络技术有了非常大的进步,软件的并行技术也有了非常大的进步,这使得让一组廉价的个人电脑与工作站协同工作成为可能,甚至可以与拥有强大的芯片处理能力的超级计算机竞争。
比如,16个普通微处理器组成的集群系统可以达到亿次级浮点计算机能力,而且总的成本小于40万元。
不幸的是,建造一个集群并不是一件简单的事件。集群的组成部分必须根据要运行的主要应用进行调整,以使之运行在最佳状态。这此因素带来的结果就是,建造集群系统不是只有一个标准的方案,在本章中,我们就会看到许多种建造方案。
集群技术是计算机系统结构的前沿领域,笔者也仅是略有了解,希望本文能起到抛砖引玉之用。
1.2.并行技术
这是一个非常简单的建造四节点的小集群系统的例子,它是构建在linux操作系统上,通过mpich软件包实现的,希望这个小例子能让大家对集群系统的构建有一个最基本的了解。2.使用mpich构建一个四节点的集群系统
这是一个非常简单的建造四节点的小集群系统的例子,它是构建在linux操作系统上,通过mpich软件包实现的,希望这个小例子能让大家对集群系统的构建有一个最基本的了解。
2.1 所需设备
1).4台采用pentium ii处理器的pc机,每台配置64m内存,2gb以上的硬盘,和eide接口的光盘驱动器。
2).5块100m快速以太卡,如smc 9332 etherpower 10100(其中四块卡用于连接集群中的结点,另外一块用于将集群中的其中的一个节点与其它络连接。)
3).5根足够连接集群系统中每个节点的,使用5类非屏蔽双绞线制作的rj45缆线
4).1个快速以太(100base-tx)的集线器或交换机
5).1张linux安装盘
2.2 构建说明
对计算机硬件不熟的人,实施以下这些构建步骤会感到吃力。如果是这样,请找一些有经验的专业人士寻求帮助。
1. 准备好要使用的采用pentium ii处理器的pc机。确信所有的pc机都还没有接上电源,打开pc机的机箱,在准备与络上的其它设备连接的pc机上安装上两块快速以太卡,在其它的pc机上安装上一块快速以太卡。当然别忘了要加上附加的内存。确定完成后盖上机箱,接上电源。
2. 使用4根rj45线缆将四台pc机连到快速以太的集线器或交换机上。使用剩下的1根rj45线将额外的以太卡(用于与其它络相连的那块,这样机构就可以用上集群)连接到机构的局域上(假定你的机构局域也是快速以太),然后打开电源。
3. 使用linux安装盘在每一台pc机上安装。请确信在linux系统中安装了c编译器和c的lib库。当你配置tcpip时,建议你为四台pc分别指定为192.168.1.1、192.168.1.2、192.168.1.3、192.168.1.4。第一台pc为你的服务器节点(拥有两块卡的那台)。在这个服务器节点上的那块与机构局域相连的卡,你应该为其指定一个与机构局域吻合的ip地址。
4.当所有pc都装好linux系统后,编辑每台机器的etchosts文件,让其包含以下几行:
192.168.1.1 node1 server
192.168.1.2 node2
192.168.1.3 node3
192.168.1.4 node4
编辑每台机器的etchosts.equiv文件,使其包含以下几行:
node1
node2
node3
node4
以下的这些配置是为了让其能使用mpich’s p4策略去执行分布式的并行处理应用。
1. 在服务器节点,建一个mirror目录,并将其配置成为nfs服务器,并在etcexports文件中增加一行:
mirror node1(rw) node2(rw) node3(rw) node4(rw)
2. 在其他节点上,也建一个mirror目录,关在etcfstab文件中增加一行:
server:mirror mirror nfs rw,bg,soft 0 0
3. mirror这个目录从服务器上输出,装载在各个客户端,以便在各个节点间进行软件任务的分发。
4. 在服务器节点上,安装mpich。mpich的文档可在
:www.mcs.anl.govmpimpichdocs.html获得。
5. 任何一个集群用户(你必须在每一个节点新建一个相同的用户),必须在mirror目录下建一个属于它的子目录,如mirrorusername,用来存放mpi程序和共享数据文件。这种情况,用户仅仅需要在服务器节点上编译mpi程序,然后将编译后的程序拷贝到在mirror目录下属于它的的子目录中,然后从他在mirror目录下属于它的的子目录下使用p4 mpi策略运行mpi程序。2.3 mpich安装指南
1. 如果你有gunzip,就d下载mpich.tar.gz,要不然就下载mpich.tar.z。你可以到: www.mcs.anl.govmpimpichdownloa下载,也可以使用匿名ftp到ftp.mcs.anl.gov的pubmpi 目录拿。(如果你觉得这个东西太大,你可以到pubmpimpisplit中取分隔成块的几个小包,然后用cat命令将它们合并)
2.解压:gunzip ?;c mpich.tar.gz |tar xovf-(或zcat mpich.tar.z|tar xovf-)
3.进入mpich目录
4.执行:.configure为mpich选择一套适合你的实际软硬件环境的参数组,如果你对这些默认选择的参数不满意,可以自己进行配置(具体参见mpich的配置文档)。最好选择一个指定的目录来安装和配置mpich,例如:
.configure -prefix=usrlocalmpich-1.2.0
5.执行:make >& make.log 这会花一段较长的时间,不同的硬件环境花的时间也就不同,可能从10分钟到1个小时,甚至更多。
6. (可选)在工作站络,或是一台单独的工作站,编辑mpichutilmachinesmachines.xxx(xxx是mpich对你机器体系结构取的名称,你能很容易的认出来)以反映你工作站的当地主机名。你完全可以跳过这一步。在集群中,这一步不需要。
7.(可选)编译、运行一个简单的测试程序:
cd examplesbasic
make cpi
ln ?;s ....binmpirun mpirun
.mpirun ?;np 4 cpi
此时,你就在你的系统上运行了一个mpi程序。
8.(可选)构建mpich其余的环境,为ch_p4策略使用安全的服务会使得任何启动速度加快,你可以执行以下命令构建:
make serv_p4
(serv_p4是一个较新的p4安全服务的版本,它包含在mpich 1.2.0版中),nupshot程序是upshot程序的一个更快版本,但他需要tk 3.6版的源代码。如果你有这个包,你就用以下命令可以构建它:
make nupshot
9.(可选)如果你想将mpich安装到一个公用的地方让其它人使用它,你可以执行:
make install 或 binmpiinstall
你可以使用-prefix选项指定mpich安装目录。安装后将生成include、lib、bin、sbin、www和man目录以及一个小小的示例目录,
(可选)到此你可以通告所有的用户如何编译、执行一个mpi程序。
2.4 费用统计
这个小的集群方案总的费用大致如下:
设备费用:
4台 pentium ii cpu 64mb内存, 2gb的硬盘带eide cd-rom 的机器: 24000元
5块快速以太卡: 800元
1个快速以太的集线机:2000元
5根双绞线:50元
软件费用:
linux安装光盘:50元
mpich:0元
合计:26900元。
这样一个集群系统可以用于一些大量的科学计算,信息处理,而且其性价比实在是太好了,仅需不到三万元。
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助~如果有疑问大家可以留言交流,谢谢大家对技术频道的支持!
该用户其它信息

VIP推荐

上海分类信息网-上海免费发布信息-上海新闻网