时间的味道

[SSC]10/08/16-10/08/20工作总结

whchen — Sun, 22 Aug 2010 22:31:12 +0800

10/08/16：Jyothish Varma论文研究；IBM BlueGene/L系统研究（System Overview）

10/08/17：IBM BlueGene/L系统研究（Node Overview）；结点NSCD服务更改，待验证；Jiannong Cao论文研究

10/08/18：NSCD问题暂时无法解决，导致cr-restart失败；重新选择Lam/MPI+BLCR配置

10/08/19：解决LAM/MPI无法找到BLCR模块问题；解决NSCD问题，cr_checkpoint、cr_restart成功

10/08/20：徐磊交流，GPU了解、规划，学习文档；心跳机制

15/08/2010 -- [SSC]10/08/09-10/08/13工作总结 (0)
08/08/2010 -- [SSC]10/08/02-10/08/06工作总结 (0)

[SSC]LAM/MPI+BLCR: blcr was not found

whchen — Thu, 19 Aug 2010 14:58:25 +0800

昨天在实验结点上安装了BLCR和LAM/MPI，碰到了个很棘手的问题。BLCR和LAM/MPI都安装成功，没有遇到什么问题。运行MPI程序：

mpirun -np 2 -ssi rpi crtcp -ssi cr blcr ./counting

这里cr接口选择blcr，但是却提示“the “blcr” module requested in the CR kind was not found”这样的错误。就是说-ssi cr后指明的blcr模块找不到。很奇怪，以前从来没有遇到这样的问题。网上搜索一番，居然没有这样的问题。

用laminfo -all查看，ssi cr只有self模块，没有blcr。是了很多次，包括在两台不同Linux版本的虚拟机上，都不行。既然说blcr模块找不到，那就在configure LAM时指定blcr的路径了。

--with-blcr=/usr/local/blcr-0.8.2/

结果试了还是不行，很郁闷。再网上找啊找，终于又看到有人这样写：

--with-cr-blcr=/usr/local/blcr-0.8.2/

……试了下，通过了。很无语。之后测试了下C/R，遇到了和OpenMPI一样的错误，NSCD问题。今天也一并将其解决了。但是在C/R中发现这样一个问题：如果cr_checkpoint –term PID，然后cr_restart重启程序后，再进行cr_checkpoint时，“Checkpoint failed: Device or resource busy.”，有待进一步研究。

04/08/2010 -- [SSC]实验结点Torque配置安装 (0)
03/08/2010 -- [SSC]实验结点OpenMPI+BLCR配置安装 (0)
02/08/2010 -- [SSC]本地BLCR环境安装配置 (0)
02/08/2010 -- [SSC]本地LAM/MPI环境安装配置 (0)
12/08/2010 -- [SSC]实验集群BLCR安装成功 (0)

[SSC]System on a Chip(SoC)

whchen — Wed, 18 Aug 2010 19:52:38 +0800

IBM BlueGene/L的芯片采用了SoC（System on Chip）技术，从而使得它的价格/性能和功耗/性能两方面相比传统计算机结构，都取得了卓越的提升。以下简单介绍下SoC技术。（资料来源：Google，百度）

一般说来，SoC称为系统级芯片，也有称片上系统。它是一种产品，指的是一个有专用目标的集成电路，其中包含完整系统并有嵌入软件的全部内容；同时它又是一种技术，用以实现从确定系统功能开始，到软/硬件划分，并完成设计的整个过程。

从狭义角度讲，它是信息系统核心的芯片集成，是将系统关键部件集成在一块芯片上；从广义角度讲，SoC是一个微小型系统。如果说中央处理器(CPU)是大脑，那么SoC就是包括大脑、心脏、眼睛和手的系统。

国内外学术界一般倾向将SoC定义为将微处理器、模拟IP核、数字IP核和存储器(或片外存储控制接口)集成在单一芯片上，它通常是客户定制的，或是面向特定用途的标准产品。

SoC技术的特点：

半导体工艺技术的系统集成
软件系统和硬件系统的集成

SoC设计技术始于20世纪90年代中期，随着半导体工艺技术的发展，IC设计者能够将愈来愈复杂的功能集成到单硅片上，SoC正是在集成电路(IC)向集成系统(IS)转变的大方向下产生的。所以说，SOC是集成电路发展的必然趋势。

SoC具有以下几方面的优势，因而创造其产品价值与市场需求：

降低耗电量
减少体积
增加系统功能
提高速度
节省成本

当前芯片设计业正面临着一系列的挑战，系统芯片SoC已经成为IC设计业界的焦点，SoC性能越来越强，规模越来越大。SoC芯片的规模一般远大于普通的ASIC，同时由于深亚微米工艺带来的设计困难等，使得SoC设计的复杂度大大提高。

16/08/2010 -- [SSC]BlueGene/L System – System Architecture (0)
17/08/2010 -- [SSC]BlueGene/L System – Node Overview (0)

[SSC]Rmax Rpeak Nhalf

whchen — Tue, 17 Aug 2010 13:48:14 +0800

2010年六月，Top500上，深圳国家计算中心的星云超级计算机（Nebulae – Dawning TC3600 Blade, Intel X5650, NVidia Tesla C2050 GPU）排名第二。Linpack测试1.27PFLOPS，是继天河1号我国又一台达到千万亿次处理能力的超级计算机，亚洲第一，世界第二。

Rmax，Rpeak，Nhalf是Linpack基准测试中的几个衡量标志。具体含义如下：

Rmax：其是根据HPL基准测试程序，对超级计算机所能达到的最大性能的衡量指标，以GFlop/s为单位。也是Top500衡量计算机最重要最首要的指标。
Rpeak：其是超级计算机所能达到的理论峰值。指的是一段时间内（通常为一个机器时钟周期）所能完成的浮点加法和乘法操作。如Intel Itanium 2，1.5GHz，每个时钟周期能完成4个浮点操作，换言之，其理论峰值为1.5*4=6GFlops。
Nhalf：该值指的是当超级计算机达到其峰值速度一半时所需要的问题规模，通常可以用来很好的衡量计算机的带宽，通常为Nmax的1/10较好。

17/08/2010 -- [SSC]BlueGene/L System – Node Overview (0)
16/08/2010 -- [SSC]BlueGene/L System – System Architecture (0)
19/01/2010 -- First Batch of Parts for “Tianhe-1” Under Trial Use (5)
12/01/2010 -- 3D Microchips for More Powerful and Environmentally-Friendly Computers (1)
11/01/2010 -- BlueArc Storage Solution Powers Visual Effects Behind ‘Avatar’ (1)

[SSC]BlueGene/L System – Node Overview

whchen — Tue, 17 Aug 2010 10:31:03 +0800

一个BG/L结点ASIC，包含两个标准PowerPC 440处理核心，每个处理核心又有一个PowerPC 440 FP2核心（”Double” 64-bit Floating-Point Unit）。440是一个标准的32-bit微处理核心。

440CPU本身不通过硬件来提供SMP支持，所以两个核不是L1 Cache一致的。用一个LockBox来实现处理器到处理器间的通信一致。每个核拥有一个由Data Pre-fetch Engine控制的2KB大小的L2 Cache，核间通信的快速SRAM阵列，L3 Cache目录，4MB EDRAM构成的L3 Cache，外围DDR内存控制器，千兆以太网适配器，JTAG接口等。两个核间的L2和L3具有一致性。
再讲一下PowerPC 440 FP2。它由两个64-bit浮点单元组成，所以叫做“Double” 64-bit FPU，分为左右主次两个侧边。

Two 64 bit floating point units
Designed with input from compiler and library developers
SIMD instructions over both register files
- FMA operations over double precision data
- More general operations available with cross and replicated operands
  - Useful for complex arithmetic, matrix multiply, FFT
Parallel (quadword) loads/stores
- Fastest way to transfer data between processors and memory
- Data needs to be 16-byte aligned
- Load/store with swap order available
- Useful for matrix transpose

16/08/2010 -- [SSC]BlueGene/L System – System Architecture (0)
18/08/2010 -- [SSC]System on a Chip(SoC) (0)
17/08/2010 -- [SSC]Rmax Rpeak Nhalf (0)
19/01/2010 -- First Batch of Parts for “Tianhe-1” Under Trial Use (5)
12/01/2010 -- 3D Microchips for More Powerful and Environmentally-Friendly Computers (1)

[SSC]BlueGene/L System – System Architecture

whchen — Mon, 16 Aug 2010 21:55:06 +0800

在看Membership Service时，其中也谈到了IBM BlueGene/L。作为曾经Top500第一的超级计算机，我觉得还是挺有必要深入的了解一下。第一部分，介绍一下BlueGene/L（BGL，蓝色基因）的系统架构（System Architecture）。

BlueGene/L超级计算机，作为美国ASCI战略计划的一部分，是IBM与Lawrence Livermore National Laboratory一同开发研制的。拥有2^16=65536个结点的超大规模并行系统，基于一种全新的System-on-a-chip（SoC，片上系统）架构（Soc将之后详细介绍），其峰值处理能力到达360TFLOPS。

具有2^16=65536个计算节点的BlueGene/L系统，通过64*32*32的3D Torus网络结构构成。每个结点由一个ASIC和内存组成，支持达2GB的本地内存，并具有9个256MB内存的SDRAM-DDR内存芯片。用来构成结点的ASIC是完全基于IBM的Soc技术的。每个结点才11.1平方毫米大，具有高密度处理能力。ASIC使用的是700MHZ的IBM PowerPC 400处理器。

其组成可以简单表述如下：

Node：2 Processors per Node
Compute Card：2 Nodes per Compute Card
Node Board：16 Compute Cards per Node Board
Midplane：16 Node Boards（512-node）per Midplane
Rack：2 Midplanes（1024-node）
BlueGene/L：64 Racks（65536-node）

节点通过5种网络进行互联：

3D Torus: Point-to-Point
Global Combining/Broadcast Tree: Global Operations(
Global Barrier and Interrupt Network: Low Latency Barriers and Interrupt
Gigabit Ethernet：File I/O and Host Interface
Control Network: Boot, Monitoring and Diagnostics

详细的结点结构和Torus网络将在后面介绍。

17/08/2010 -- [SSC]BlueGene/L System – Node Overview (0)
18/08/2010 -- [SSC]System on a Chip(SoC) (0)
17/08/2010 -- [SSC]Rmax Rpeak Nhalf (0)
19/01/2010 -- First Batch of Parts for “Tianhe-1” Under Trial Use (5)
12/01/2010 -- 3D Microchips for More Powerful and Environmentally-Friendly Computers (1)

[SSC]10/08/09-10/08/13工作总结

whchen — Sun, 15 Aug 2010 20:27:07 +0800

10/08/09：配置Xfinity环境，了解项目架构，学习心跳机制。

10/08/10：阅读项目源码，学习Extjs，JS，Ajax。

10/08/11：Xfinity项目相关学习，编写心跳机制模块代码。

10/08/12：实验集群blade01结点BLCR配置成功。

10/08/13：OpenMPI+BLCR测试，checkpoint有效，restart失败，初步定位为NSCD问题，待处理；Xfinity项目例会，汇报工作进展，继续完善心跳机制。

22/08/2010 -- [SSC]10/08/16-10/08/20工作总结 (0)
08/08/2010 -- [SSC]10/08/02-10/08/06工作总结 (0)

[SSC]实验集群BLCR安装成功

whchen — Thu, 12 Aug 2010 20:14:08 +0800

实验集群用的是SLES10，从最初打算在该实验集群上配置BLCR，到今天终于配置成功，可谓一波三折。但是在我自己的单机结点和自己搭建的实验集群上，配置都是很容易和顺利。主要原因是BLCR需要加载内核模块，所以需要编译好的内核源码包和内核头文件。而在SLES10上，并没有完全安装，并且受到一些操作的限制，需要自行下载相应的源码包，进行安装配置。

实验集群环境：

OS：SLES 10 SP2，Kernel Version：2.6.16.60-0.21-smp x86_64

配置需求：

系统内核对应内核源码包，root权限

配置过程总结如下：

配置内核源码rpm包

rpm -ivh kernel-2.6.16.60-0.21.src.rpm
# 由于系统是SMP架构的，需要使用kernel-smp.spec，将其复制到/usr/src/packages/SPEC/下
rpmbuild -bp --target $(uname -r) /usr/src/packages/SPEC/kernel-smp.spec
# 直接使用系统的配置文件，复制到/usr/src/packages/BUILD/下对应的Linux目录下
cp /boot/config-2.6.16.60-0.21.smp.x86_64 .config
# 视情况修改Makefile，这里不需要

内核编译

make mrproper
make oldconfig
make
make modules
make clean

安装BLCR

# 一旦内核正确编译后，就能像安装一般软件一样安装BLCR
# 需要注意的几点：
##  .configure后，可以看到相关的信息，如发现有类似类似内核版本不匹配的警告，需重新编译内核
##  安装后可用make insmod check用来检测加载模块是否成功。不通过则还是重新编译内核
##  相关错误可以用dmseg查看详细信息

由于加载内核模块对于内核版本要求很高，所以从内核版本到架构都必须保持完全一致。

在kernel.spec，.config，Makefile等这些文件的选择上，必须保持一致，否则都将导致安装BLCR的错误。可以说，通过这次的成功配置，对加载模块的配置有了全面的了解，期间也遇到了各式各样的问题，终于还是很好的解决了，积累了一定的经验，相信对今后的工作会很有帮助。

03/08/2010 -- [SSC]实验结点OpenMPI+BLCR配置安装 (0)
19/08/2010 -- [SSC]LAM/MPI+BLCR: blcr was not found (0)
04/08/2010 -- [SSC]实验结点Torque配置安装 (0)
02/08/2010 -- [SSC]本地BLCR环境安装配置 (0)
02/08/2010 -- [SSC]本地LAM/MPI环境安装配置 (0)

[SSC]Xfinity开发环境配置

whchen — Mon, 09 Aug 2010 23:20:34 +0800

ExtJS+Eclipse+Tomcat+SVN

Eclipse配置Java环境：jdk1.5（客户端运行applet需jdk1.6）
Eclipse加入SVN插件
导入工程（New->Other->SVN（Checkout Projects from SVN）->http://192.168.xxxx.xxx/svn/ecp）
导入commonjar[trunk/scc/commonjar]
导入scc[trunk/ent-portal/scc]，sccMgmtPortal[trunk/ent-portal/sccMgmtPortal]
Properties->Java Build Path->Edit User Library->Add External Jars->Add Projects，直到所有所需工程和Lib文件添加完毕
scc包
apache-tomcat-5.5.27\bin\catalina.bat：%_EXECJAVA% %JAVA_OPTS% %CATALINA_OPTS% -Dscc.home=X:\my\path\to\scc
cd …\apache-tomcat-5.5\，catalina.bat start
localhost:8080/scc

Sorry. No Related Posts Are Available.

[SSC]10/08/02-10/08/06工作总结

whchen — Sun, 08 Aug 2010 22:16:15 +0800

10/08/02：为本机结点上配置了容错环境，基于LAM/MPI的局限性，改用了同样对BLCR支持很好的OpenMPI。

10/08/03：实验结点（c7，Fedora）成功配置了容错环境。

10/08/04：在c7结点加入作业管理系统Torque并测试成功。

10/08/05：实验结点（blade）上环境配置调试。

10/08/06：和曙光技术人员关于BLCR及相关问题进行了交流；加入Xfinity开发团队，例会，“心跳机制”任务。

22/08/2010 -- [SSC]10/08/16-10/08/20工作总结 (0)
15/08/2010 -- [SSC]10/08/09-10/08/13工作总结 (0)

时间的味道

[SSC]10/08/16-10/08/20工作总结

Related Posts

[SSC]LAM/MPI+BLCR: blcr was not found

Related Posts

[SSC]System on a Chip(SoC)

Related Posts

[SSC]Rmax Rpeak Nhalf

Related Posts

[SSC]BlueGene/L System – Node Overview

Related Posts

[SSC]BlueGene/L System – System Architecture

Related Posts

[SSC]10/08/09-10/08/13工作总结

Related Posts

[SSC]实验集群BLCR安装成功

Related Posts

[SSC]Xfinity开发环境配置

Related Posts

[SSC]10/08/02-10/08/06工作总结

Related Posts