IBM JS20刀片高性能计算解决方案
时间：2009-02-22 23:15:00
来源：UltraLAB图形工作站方案网站
人气：4078
作者：admin
方案简介
该方案中共配置了14个IBM JS20服务器，28颗IBM PowerPC970/2.2GHz处理器；内存容量为28GB。理论浮点运算性能达到2464亿/秒。 配置一台IBM OpenPower710服务器作为I/O节点。该服务器配置了1个IBM最新的Power5处理器。在IBM SMT（Simultaneous Muti-Threading）功能打开的情况下，该系统的逻辑处理器数为2个，完全可以胜任I/O吞吐负载。 配置了完善的高性能计算管理与开发软件，方便用户管理与使用。
方案优点：
1. 成熟的硬件与软件配置，构成完善的高性能计算集群系统；
2. IBM刀片服务器JS20采用处理能力极强的PowerPC970 RISC芯片。该芯片同时具有内置的向量扩展单元，可以大幅度提高适合向量化的应用程序的性能；
3. 在刀片服务器集群中，将计算网络和数据传输网络完全分开，改善计算的通信性能和I/O处理能力；
4. 配置统一的共享文件系统，方便用户使用；
5. 采用单一的系统管理软件，实现整个集群系统的统一管理，方便用户进行系统管理与维护；
2. 方案二：34个刀片服务器
方案二配置示意图
方案简述： 该方案中共配置了34个IBM JS20服务器，68颗IBM PowerPC970/2.2GHz处理器；内存容量为68GB。理论浮点运算性能达到5984亿/秒。 配置一台IBM OpenPower710服务器作为I/O节点。该服务器配置了1个IBM最新的Power5处理器。在IBM SMT（Simultaneous Muti-Threading）功能打开的情况下，该系统的逻辑处理器数为2个，完全可以胜任I/O吞吐负载。 配置了完善的高性能计算管理与开发软件，方便用户管理与使用。
方案优点：
1. 成熟的硬件与软件配置，构成完善的高性能计算集群系统；
2. IBM刀片服务器JS20采用处理能力极强的PowerPC970 RISC芯片。该芯片同时具有内置的向量扩展单元，可以大幅度提高适合向量化的应用程序的性能；
3. 在刀片服务器集群中，将计算网络和数据传输网络完全分开，改善计算的通信性能和I/O处理能力；
4. 配置统一的共享文件系统，方便用户使用；
5. 采用单一的系统管理软件，实现整个集群系统的统一管理，方便用户进行系统管理与维护；
集群系统管理软件 集群系统管理软件和集群系统一样形形色色、多种多样。
下面简要介绍几种集群系统管理软件并比较它们实现的功能。
（1）IBM CSM IBM CSM(Cluster Systems Management )是IBM eServer Cluster 1300上的系统管理软件。IBM的Linux集群战略的一部分就是把运行在RS/6000 SP平台上的PSSP软件移植到基于xSeries的Linux集群系统上。CSM大部分功能来源于SP平台，但是它也集成了WebSM 2000、xSeries、开放源码工具和其他技术。CSM是一款功能很全面的管理工具，而且还在不断的发展中。
（2）xCAT XCAT是用于IBM eServer Cluster 1300上的系统管理软件。它由Egan Ford开发。它基本上是由shell脚本写成，相当简捷。但是它实现了集群系统管理大部分的内容，是个非常出色的管理软件。
下表比较了以上两种主要集群系统管理软件：
作业管理软件 有很多种选择去管理集群系统中的资源。其中PBS资源管理器和Maui作业调度器最适合集群系统。
(1) PBS PBS(Portable Batch System)是由NASA开发的灵活的批处理系统。它被用于集群系统、超级计算机和大规模并行系统。
PBS主要有如下特征：
· 易用性：为所有的资源提供统一的接口，易于配置以满足不同系统的需求，灵活的作业调度器允许不同系统采用自己的调度策略。
· 移植性：符合POSIX 1003.2标准，可以用于shell和批处理等各种环境。
· 适配性：可以适配与各种管理策略，并提供可扩展的认证和安全模型。支持广域网上的负载的动态分发和建立在多个物理位置不同的实体上的虚拟组织。
· 灵活性：支持交互和批处理作业。
OpenPBS(http：//www.OpenPBS.org/)是PBS的Open Source的实现。商业版本的PBS可以参照：http：//www.pbspro.com/。 (2)Maui Maui是一个高级的作业调度器。它采用积极的调度策略优化资源的利用和减少作业的响应时间。Maui的资源和负载管理允许高级的参数配置：作业优先级(Job Priority)、调度和分配(Scheduling and Allocation)、公平性和公平共享(Fairness and Fairshare)和预留策略(Reservation Policy)。Maui的QoS机制允许资源和服务的直接传递、策略解除(Policy Exemption)和指定特征的受限访问。Maui采用高级的资源预留架构可以保证精确控制资源何时、何地、被谁、怎样使用。Maui的预留架构完全支持非入侵式的元调度。 Maui的设计得益于世界最大的高性能计算中心的经验。Maui本身也提供测试工具和模拟器用于估计和调节系统性能。 Maui需要资源管理器与其配合使用。我们可以把Maui想象为PBS中的一个插入部件。 更多Maui的信息可以访问：http：//www.supercluster.org
BladeCenter JS20 和Sun Fire B100s/B100x/B200x刀片竞争分析
性能
l 支持主频2.2GHz PowerPC 970处理器，而目前Sun的客户受限于陈旧和速度更慢的UltraSPARC ІIi 650MHz处理器。
l JS20设计支持2颗处理器，而Sun Fire B100s/x只支持单颗处理器。
l 内存支持4GB（4GB 800MHz FSB模式）大大增加服务器性能，而Sun B100s/x内存只能扩展到2GB。 l IBM BladeCenter JS20为每一个刀片提供直接或冗余附件连接企业SAN，以获得到高性能磁盘阵列的非受限磁盘容量的高速带宽连接，而Sun仅依靠更慢的NAS连接硬盘。
l 目前快速处理器和PCI总线需要更高的带宽支持。鉴于此原因，BladeCenter JS20设计使用PC2700 DDR，PC2700 DDR可以支持2700MB/s的传送速率，而Sun B100s PC133内存支持仅达1100MB/s，Sun B100x PC2100 内存支持仅达2100MB/s。#p#page_title#e#
更低的管理成本
由于提供了丰富的独特管理特性，SUSE LINUX Enterprise Server成为企业中最容易部署、配置和维护的Linux平台：
l YaST (Yet another Setup Tool)可实现操作系统、网络服务、存储器、集群，甚至应用程序的轻松安装和配置
l AutoYaST可实现在您的基础设施中以“无人值守”的方式部署Linux
l 开放式应用编程接口 (API)以及对通用信息模型(CIM)标准的支持可实现与第三方管理解决方案的集成
l 基于类的内核资源管理 (CKRM)可对大型服务器进行类似大型机的分区
l 目录配置提供了集中管理功能
l 对Novell ZENworks Linux管理的内置支持功能为保证Linux服务器和应用的最新状态和安全性提供了最佳的解决方案
l 通用代码库保证了在所有Linux平台上使用统一的管理工具和进行自动软件更新，以最大程度提高灵活性和节约成本
安心部署LINUX平台
SUSE LINUX Enterprise Server由Novell提供全面支持，为您的Linux环境提供完整的企业软件系统：包括技术支持、培训、咨询、保障和全面的合作伙伴网络。Novell对开放源代码的承诺以及在Linux集成方面的专业知识将帮助各种规模的企业迅速而可靠地部署Linux环境。
SUSE LINUX Enterprise Server提供HPC价值
成功案例
某高性能流体计算用户的应用环境既有商业程序，也有大量自主开发的程序。经过多种平台的测试比较，IBM Bladeserver JS20以两倍以上的速度和超低的功耗脱颖而出，用户一次安装了128个IBM Bladeserver JS20。
下面是IBM给该用户的建议配置：
硬件部分
(1) 计算节点128个JS20 CPU：2xPowerPC 970 2.2GHz RAM：2G PC2700 ECC DDR HDD：40GB 5400 rpm ATA-100 (EIDE)
(2) BladeCenter Chassis 10个 标配管理模块 标配一组2000W电源模块，加一组2000W电源模块 消音器模块一个 4端口千兆以太网交换机模块(Gigabit Ethernet Switch Module)一个
(3) 机柜3个T00/36U，19英寸标准机柜 每个机柜4个PDU 其中一个配置KVM
(4) cisco网络交换机 至少48口千兆以太网交换机一个 至少12口百兆以太网交换机一个
(5) 登录节点2个JS20 配置同计算节点
(6) 管理节点1个x346 两块硬盘 显卡
(7) IO节点2个p5-510 CPU：1.5G POWER5 RAM：1G HBA2个
(8) 磁盘阵列FAStT900 (9) SAN交换机2个
软件部分
(10) 操作系统SLES 9（收费）
(11) 集群管理系统xCAT（免费）
(12) 编译器 GNU Compiler：gcc、g77（免费） IBM Compiler：xl-FORTRAN 9.1 for Linux、xl-C 7.0 for Linux（收费） (13) 支撑软件 MPI－CH（免费） PVM（免费） Open-PBS，Maui（免费）
(14) 文件系统 NFS（免费） PVFS（免费） 系统拓扑结构图如下：
128节点JS20刀片式服务器集群示意图
关于IBM高性能计算的简介
IBM长期以来致力于高性能计算领域的技术发展和应用完善，当其它IT厂商由于机会或者财务限制，在这种科学计算市场中进进出出时，IBM就从每年50亿美金的研发经费中按比例、持续地投入高性能计算领域。IBM承诺将保持在高性能计算领域的领先位置。 IBM发明了包括并行处理、对称多处理机和集群等技术，并通过它们始终保持着在业界的领先水平。并且IBM还承诺，通过利用和增强基于开放资源技术与工业标准服务器的Linux集群，来提供给客户更多的机会。IBM将会成为这种方案的领先提供商，我们在世界各地成立了专门的队伍，为Linux的发展贡献力量，帮助客户或合作伙伴将应用移植到Linux平台，开发更多的新技术和应用。 IBM Linux集群系统是利用先进的体系架构将IBM的eServer x系列服务器、p系列服务器以及TotalStorage存储解决方案连接起来，通过集群技术实现高性能运算。由于Linux集群系统性能卓越，可用性高，扩展能力强和易于掌握等优势，一经推出，就被科学运算领域和商用领域的用户认可。
众所周知，IBM公司长期以来在高性能运算方面投入了大量的精力，并取得了很好的成绩。在高性能运算TOP 500名中，IBM公司占有很大的份额。IBM的大规模并行处理机SP系统已广泛地运用在各个领域，该机（深蓝）曾在1997年中的“人机大战”中因战胜棋王卡斯帕罗夫而享誉全球。作为后起之秀的Linux集群系统，吸取了SP大规模并行机的诸多优势，并且将SP上的优秀的系统管理软件和并行处理方面的程序移植到Linux集群系统上，如并行系统管理软件PSSP和通用并行文件系统GPFS等，从而使Linux集群系统不仅能在并行运算方面的性能得到保障，增强了集群系统的可管理性，最新的技术进步使得在相同的空间内采用刀片式服务器，从而将节点密度提高一倍，大大降低成本。 也正因为如此，IBM的Linux集群解决方案越来越受到众多的用户群的关注，其中包括著名的蓝色基因Blue Gene/L，在全球高性能计算集群中排名第一。
蓝色基因系统示意图
该方案中共配置了14个IBM JS20服务器，28颗IBM PowerPC970/2.2GHz处理器；内存容量为28GB。理论浮点运算性能达到2464亿/秒。 配置一台IBM OpenPower710服务器作为I/O节点。该服务器配置了1个IBM最新的Power5处理器。在IBM SMT（Simultaneous Muti-Threading）功能打开的情况下，该系统的逻辑处理器数为2个，完全可以胜任I/O吞吐负载。 配置了完善的高性能计算管理与开发软件，方便用户管理与使用。
方案优点：
1. 成熟的硬件与软件配置，构成完善的高性能计算集群系统；
2. IBM刀片服务器JS20采用处理能力极强的PowerPC970 RISC芯片。该芯片同时具有内置的向量扩展单元，可以大幅度提高适合向量化的应用程序的性能；
3. 在刀片服务器集群中，将计算网络和数据传输网络完全分开，改善计算的通信性能和I/O处理能力；
4. 配置统一的共享文件系统，方便用户使用；
5. 采用单一的系统管理软件，实现整个集群系统的统一管理，方便用户进行系统管理与维护；
2. 方案二：34个刀片服务器
方案二配置示意图
方案简述： 该方案中共配置了34个IBM JS20服务器，68颗IBM PowerPC970/2.2GHz处理器；内存容量为68GB。理论浮点运算性能达到5984亿/秒。 配置一台IBM OpenPower710服务器作为I/O节点。该服务器配置了1个IBM最新的Power5处理器。在IBM SMT（Simultaneous Muti-Threading）功能打开的情况下，该系统的逻辑处理器数为2个，完全可以胜任I/O吞吐负载。 配置了完善的高性能计算管理与开发软件，方便用户管理与使用。
方案优点：
1. 成熟的硬件与软件配置，构成完善的高性能计算集群系统；
2. IBM刀片服务器JS20采用处理能力极强的PowerPC970 RISC芯片。该芯片同时具有内置的向量扩展单元，可以大幅度提高适合向量化的应用程序的性能；
3. 在刀片服务器集群中，将计算网络和数据传输网络完全分开，改善计算的通信性能和I/O处理能力；
4. 配置统一的共享文件系统，方便用户使用；
5. 采用单一的系统管理软件，实现整个集群系统的统一管理，方便用户进行系统管理与维护；
集群系统管理软件 集群系统管理软件和集群系统一样形形色色、多种多样。
下面简要介绍几种集群系统管理软件并比较它们实现的功能。
（1）IBM CSM IBM CSM(Cluster Systems Management )是IBM eServer Cluster 1300上的系统管理软件。IBM的Linux集群战略的一部分就是把运行在RS/6000 SP平台上的PSSP软件移植到基于xSeries的Linux集群系统上。CSM大部分功能来源于SP平台，但是它也集成了WebSM 2000、xSeries、开放源码工具和其他技术。CSM是一款功能很全面的管理工具，而且还在不断的发展中。
（2）xCAT XCAT是用于IBM eServer Cluster 1300上的系统管理软件。它由Egan Ford开发。它基本上是由shell脚本写成，相当简捷。但是它实现了集群系统管理大部分的内容，是个非常出色的管理软件。
下表比较了以上两种主要集群系统管理软件：
作业管理软件 有很多种选择去管理集群系统中的资源。其中PBS资源管理器和Maui作业调度器最适合集群系统。
(1) PBS PBS(Portable Batch System)是由NASA开发的灵活的批处理系统。它被用于集群系统、超级计算机和大规模并行系统。
PBS主要有如下特征：
· 易用性：为所有的资源提供统一的接口，易于配置以满足不同系统的需求，灵活的作业调度器允许不同系统采用自己的调度策略。
· 移植性：符合POSIX 1003.2标准，可以用于shell和批处理等各种环境。
· 适配性：可以适配与各种管理策略，并提供可扩展的认证和安全模型。支持广域网上的负载的动态分发和建立在多个物理位置不同的实体上的虚拟组织。
· 灵活性：支持交互和批处理作业。
OpenPBS(http：//www.OpenPBS.org/)是PBS的Open Source的实现。商业版本的PBS可以参照：http：//www.pbspro.com/。 (2)Maui Maui是一个高级的作业调度器。它采用积极的调度策略优化资源的利用和减少作业的响应时间。Maui的资源和负载管理允许高级的参数配置：作业优先级(Job Priority)、调度和分配(Scheduling and Allocation)、公平性和公平共享(Fairness and Fairshare)和预留策略(Reservation Policy)。Maui的QoS机制允许资源和服务的直接传递、策略解除(Policy Exemption)和指定特征的受限访问。Maui采用高级的资源预留架构可以保证精确控制资源何时、何地、被谁、怎样使用。Maui的预留架构完全支持非入侵式的元调度。 Maui的设计得益于世界最大的高性能计算中心的经验。Maui本身也提供测试工具和模拟器用于估计和调节系统性能。 Maui需要资源管理器与其配合使用。我们可以把Maui想象为PBS中的一个插入部件。 更多Maui的信息可以访问：http：//www.supercluster.org
BladeCenter JS20 和Sun Fire B100s/B100x/B200x刀片竞争分析
性能
l 支持主频2.2GHz PowerPC 970处理器，而目前Sun的客户受限于陈旧和速度更慢的UltraSPARC ІIi 650MHz处理器。
l JS20设计支持2颗处理器，而Sun Fire B100s/x只支持单颗处理器。
l 内存支持4GB（4GB 800MHz FSB模式）大大增加服务器性能，而Sun B100s/x内存只能扩展到2GB。 l IBM BladeCenter JS20为每一个刀片提供直接或冗余附件连接企业SAN，以获得到高性能磁盘阵列的非受限磁盘容量的高速带宽连接，而Sun仅依靠更慢的NAS连接硬盘。
l 目前快速处理器和PCI总线需要更高的带宽支持。鉴于此原因，BladeCenter JS20设计使用PC2700 DDR，PC2700 DDR可以支持2700MB/s的传送速率，而Sun B100s PC133内存支持仅达1100MB/s，Sun B100x PC2100 内存支持仅达2100MB/s。#p#page_title#e#
更低的管理成本
由于提供了丰富的独特管理特性，SUSE LINUX Enterprise Server成为企业中最容易部署、配置和维护的Linux平台：
l YaST (Yet another Setup Tool)可实现操作系统、网络服务、存储器、集群，甚至应用程序的轻松安装和配置
l AutoYaST可实现在您的基础设施中以“无人值守”的方式部署Linux
l 开放式应用编程接口 (API)以及对通用信息模型(CIM)标准的支持可实现与第三方管理解决方案的集成
l 基于类的内核资源管理 (CKRM)可对大型服务器进行类似大型机的分区
l 目录配置提供了集中管理功能
l 对Novell ZENworks Linux管理的内置支持功能为保证Linux服务器和应用的最新状态和安全性提供了最佳的解决方案
l 通用代码库保证了在所有Linux平台上使用统一的管理工具和进行自动软件更新，以最大程度提高灵活性和节约成本
安心部署LINUX平台
SUSE LINUX Enterprise Server由Novell提供全面支持，为您的Linux环境提供完整的企业软件系统：包括技术支持、培训、咨询、保障和全面的合作伙伴网络。Novell对开放源代码的承诺以及在Linux集成方面的专业知识将帮助各种规模的企业迅速而可靠地部署Linux环境。
SUSE LINUX Enterprise Server提供HPC价值
成功案例
某高性能流体计算用户的应用环境既有商业程序，也有大量自主开发的程序。经过多种平台的测试比较，IBM Bladeserver JS20以两倍以上的速度和超低的功耗脱颖而出，用户一次安装了128个IBM Bladeserver JS20。
下面是IBM给该用户的建议配置：
硬件部分
(1) 计算节点128个JS20 CPU：2xPowerPC 970 2.2GHz RAM：2G PC2700 ECC DDR HDD：40GB 5400 rpm ATA-100 (EIDE)
(2) BladeCenter Chassis 10个 标配管理模块 标配一组2000W电源模块，加一组2000W电源模块 消音器模块一个 4端口千兆以太网交换机模块(Gigabit Ethernet Switch Module)一个
(3) 机柜3个T00/36U，19英寸标准机柜 每个机柜4个PDU 其中一个配置KVM
(4) cisco网络交换机 至少48口千兆以太网交换机一个 至少12口百兆以太网交换机一个
(5) 登录节点2个JS20 配置同计算节点
(6) 管理节点1个x346 两块硬盘 显卡
(7) IO节点2个p5-510 CPU：1.5G POWER5 RAM：1G HBA2个
(8) 磁盘阵列FAStT900 (9) SAN交换机2个
软件部分
(10) 操作系统SLES 9（收费）
(11) 集群管理系统xCAT（免费）
(12) 编译器 GNU Compiler：gcc、g77（免费） IBM Compiler：xl-FORTRAN 9.1 for Linux、xl-C 7.0 for Linux（收费） (13) 支撑软件 MPI－CH（免费） PVM（免费） Open-PBS，Maui（免费）
(14) 文件系统 NFS（免费） PVFS（免费） 系统拓扑结构图如下：
128节点JS20刀片式服务器集群示意图
关于IBM高性能计算的简介
IBM长期以来致力于高性能计算领域的技术发展和应用完善，当其它IT厂商由于机会或者财务限制，在这种科学计算市场中进进出出时，IBM就从每年50亿美金的研发经费中按比例、持续地投入高性能计算领域。IBM承诺将保持在高性能计算领域的领先位置。 IBM发明了包括并行处理、对称多处理机和集群等技术，并通过它们始终保持着在业界的领先水平。并且IBM还承诺，通过利用和增强基于开放资源技术与工业标准服务器的Linux集群，来提供给客户更多的机会。IBM将会成为这种方案的领先提供商，我们在世界各地成立了专门的队伍，为Linux的发展贡献力量，帮助客户或合作伙伴将应用移植到Linux平台，开发更多的新技术和应用。 IBM Linux集群系统是利用先进的体系架构将IBM的eServer x系列服务器、p系列服务器以及TotalStorage存储解决方案连接起来，通过集群技术实现高性能运算。由于Linux集群系统性能卓越，可用性高，扩展能力强和易于掌握等优势，一经推出，就被科学运算领域和商用领域的用户认可。
众所周知，IBM公司长期以来在高性能运算方面投入了大量的精力，并取得了很好的成绩。在高性能运算TOP 500名中，IBM公司占有很大的份额。IBM的大规模并行处理机SP系统已广泛地运用在各个领域，该机（深蓝）曾在1997年中的“人机大战”中因战胜棋王卡斯帕罗夫而享誉全球。作为后起之秀的Linux集群系统，吸取了SP大规模并行机的诸多优势，并且将SP上的优秀的系统管理软件和并行处理方面的程序移植到Linux集群系统上，如并行系统管理软件PSSP和通用并行文件系统GPFS等，从而使Linux集群系统不仅能在并行运算方面的性能得到保障，增强了集群系统的可管理性，最新的技术进步使得在相同的空间内采用刀片式服务器，从而将节点密度提高一倍，大大降低成本。 也正因为如此，IBM的Linux集群解决方案越来越受到众多的用户群的关注，其中包括著名的蓝色基因Blue Gene/L，在全球高性能计算集群中排名第一。
蓝色基因系统示意图
