搜档网
当前位置:搜档网 › Fluent17.2在基于Linux下PC集群的并行计算

Fluent17.2在基于Linux下PC集群的并行计算

Fluent17.2在基于Linux下PC集群的并行计算
Fluent17.2在基于Linux下PC集群的并行计算

Fluent17.2在基于Linux

PC集群的并行计算

软件需求可联系QQ:2294976284

目录

一、CentOS7.2.1.15安装及配置 (3)

1.1软件下载及安装 (3)

1.2配置 (4)

1.2.1网络配置 (4)

1.2.2用户名更改 (4)

二、计算集群配置 (5)

2.1NFS配置 (5)

2.2无密访问连接(RSH、SSH) (8)

2.2.1SSH配置 (8)

三、Ansys17.2安装及配置 (9)

3.1图形化安装过程 (10)

3.2安装License server (16)

3.3配置和启动License server (19)

3.4启动fluent GUi界面 (23)

3.4fluent并行计算 (24)

一、CentOS7.2.1.15安装及配置

1.1软件下载及安装

为方便后期软件环境的配置,采用CentOS-7-x86_64-Everything-1511.ISO版本,安装采用光盘转U盘启动,可以通过UltraISO软件实现,在软件中“文件”打开CentOS7的ISO镜像文件,“启动”选择“写入硬盘映像”,硬盘驱动器选择插入的U盘,保证U盘空间在9G

以上,写入方式选择USB-HDD+v2,点击写入等待完成即可,注意写入过程会格式化整个U 盘,为防止文件丢失,作为启动U盘应为空白盘。

U盘插入目标电脑,以BIOS模式启动,清华同方电脑为启动时按F12进入,选择U盘点击开始安装,出现安装界面后选择第二项“Test and install…”,为防止Fluent计算环境配置出错,采用英文环境安装,进入图形化安装界面,“DATE&TIME”选择city Shanghai,调整时间后左上角点击Done返回上一级页面;点击SOFTWARE SELECTION进入软件安装界面,由于linux下软件依赖性强,对于系统不是很精通选择全部安装,在左侧每一项对应的右侧选项上左键选中,依次全选后点击Done返回;点击INSTALLATION DESTINATION进行系统安装位置的配置,上方选择要安装系统的硬盘,下方选择“I will configure a portitioning”,点击Done进行配置,若选择安装的硬盘内有其他文件占用空间,选择左下方条目,选择“—”号弹出删除界面,点击并选择Delete It将删除原有文件并释放空间,选择“New mount points will…”下的下拉框,格式选为Standard,上方选择“Click here to creat them automatically”将自动产生分区,依次点击,在右侧Desired Capacity进行容量分配,其中/boot和/swap选择

4GiB~10GiB,/和/home分配剩余所有空间,其中/home可以分配很大,(参考个人总容量为931G,

/boot和/swap各为10G,/为300G,/home剩余所有)在/、/boot、/home中File System选择ext3,点击up dating完成更新,最后左上角点击Done弹出更改对话框,选择Accept Changes返回上级页面,剩余选项不用配置,点击Begin Installation开始安装,在上方User settings下分别设置root和user账号,其中user账号可以不设置密码,等待下方进度条完成后点击Reboot,点击后一定要拔出U盘,否则又会进入安装模式,重启完会出现两种状况,一种为出现License 激活和network选择界面,只点击License下选择I Accept后左上角点击Done进入CentOS桌面;另一种为命令行界面,输入1回车,2回车,q回车,yes回车进入CentOS桌面,在出现的界面右上角不断点击next完成初始化。

示例:用户名分别为zhjn1,zhjn2,zhjn3,zhjn4,IP地址为192.168.1.233、234、235、236。

1.2配置

1.2.1网络配置

CentOS ghome界面与Windows桌面类似,可以不用命令行进行配置,比较方便,左上角选择Applications-System Tools-Settings-Network进入网络配置,IPV4选择Manual,依次设置IP、Netmask、Gateway和DNS,Netmask通为255.255.255.0,Gateway通为192.168.1.1,DNS 通为192.168.1.1,设置完选择Apply并打开Wired(On),关闭界面即可,此时网络已连接,但会在重启后关闭,打开Places-Computer,选择etc/sysconfig/network-scripts,打开编辑

ifcfg-enp2s0(网络配置时有显示名称),不同电脑名称可能不一样,将BOOTPROTO=no,改为BOOTPROTO=static,ONBOOT=no改为ONBOOT=yes,点击save即实现了开机自动启动网络配置。

上述配置也可以用命令行实现,在Computer下打开终端,即右键“Open in Terminal”,在打开界面内光标处输入vi(空格)/etc/sysconfig/network-scripts回车,按i进行编辑,编辑后内容与上述图形化编辑后内容一致,完成后按ESC输入:wq保存退出完成配置。

1.2.2用户名更改

打开/etc/hostname,将localhost删除改为想要的用户名后保存。

示例:[root@localhost/]#vi/etc/hostname回车按i

Delete localhost键入zhjn1按ESC

:wq

此时变为[root@zhjn1/]#,说明修改完成。

二、计算集群配置

为充分利用计算资源,选择将四台PC电脑搭建为一个集群(Cluster),进行fluent的并行计算。集群系统通常包括一个主节点和多个从节点,其中主节点进行任务的分配,从节点只参与计算,如下图所示:

计算机集群系统主要包括NIS,NFS和无密访问(RSH、SSH)配置,其中NIS配置可以不选择,主要配置NFS和(RSH、SSH)。配置前关闭各节点防火墙,命令流systemctl stop firewalld.service、systemctl disable firewalld.service和vi/etc/selinux,将selinux=enabling改为selinux=disabled。

2.1NFS配置

NFS是Network File System的缩写,即网络文件系统,一种使用于分散式文件协定,由SUN公司开发,功能是通过网络让不同的机器、不同的操作系统能够分享个人数据,让应用

程序通过网络可以访问位于服务器磁盘中的数据。集群中主要实现在主节点上进行文件的安装、拷贝和任务提交,在从节点上只需要进行主节点的目录挂载即可(无须安装fluent软件),从而减轻工作量。

NFS服务主要由nfs和rpcbind实现,查询是否安装,命令rpm-qa|grep nfs,如果安装会显示nfs版本信息,对于CentOS everything版本软件全安装的形式,这些配置软件都已默认安装,直接启用配置就行,若未安装进行一下操作即可:

主节点(zhjn1,192.168.1.233)上

yum-y install nfs-utils

systemctl enable rpcbind.service

systemctl enable nfs-server.service#使得rpcbind和nfs开机自动启动

systemctl start rpcbind.service

systemctl start nfs.service#一定要在nfs之前启动rpcbind服务

systemctl status rpcbind.service#状态查询,显示active(running)

systemctl status nfs.service#状态查询,显示active(excited)

vi/etc/exports

/home*(rw,sync,no_root_squash)#将主节点上的home作为共享目录,所用使用软件安装在此,*表示所用人,rw表示读写,sync表示同步模式,磁盘中数据时时写入磁盘,

no_root_squash表示从节点以root用户登录时,对于home目录具有root权限:wq

exportfs

显示/home#将/home目录共享给任意机

此时,完成主节点NFS配置。

从节点(zhjn2、3、4,IP234、235、236)依次进行配置:

yum-y install nfs-utils

systemctl enable rpcbind.service

systemctl enable nfs-server.service

systemctl start rpcbind.service

systemctl start nfs.service

systemctl status rpcbind.service

systemctl status nfs.service

showmount-e192.168.1.233#查询主节点上的共享目录,显示Export list for

192.168.1.233:/home*

mount-t nfs192.168.1.233:/home/home#将主节点的home挂载在本机的home上,实现路径一致

cd/home#打开home文件夹,也可以双击home图标打开

ls#显示home文件夹下内容

显示主节点home下的文件,则挂载成功。

上述挂载在重启后失效,采用开机自动挂载,各从节点采用autofs服务:

yum-y install autofs

systemctl enable autofs.service

systemctl start autofs.service

vi/etc/auto.master

最后一行添加/-/etc/auto.nfs#auto.nfs为二级目录,可以不存在,在挂载文件时,自动打开auto.nfs

:wq

vi/etc/auto.nfs#将自动创建和编辑auto.nfs文件

/home-fstype=nfs,rw192.168.1.233:/home#从节点挂载点,类型,主节点挂载目录

:wq

systemctl restart autofs.service

cd/home

ls

上述命令流完成开机自动挂载主节点/home到从节点/home。

2.2无密访问连接(RSH、SSH)

Fluent并行计算时需要在节点间进行数据互换和访问,若存在密码则会访问失败而中断计算,需要无密访问连接(RSH,SSH),其中RSH采用明文传输,比较不安全,此外配置比较麻烦,不采用。

2.2.1SSH配置

需要在主节点和从节点上分别进行配置:

vi/etc/hosts

将前两行127.0.0.1localhost及:.注释掉,即在最前面输入#

最后依次输入:

192.168.1.233zhjn1

192.168.1.234zhjn2

192.168.1.235zhjn3

192.168.1.236zhjn4#将IP和hostname一一对应,有多少个节点就添加多少行:wq

ssh-keygen-t rsa#产生公私钥,一路回车即可

cd/root/.ssh#.ssh为隐藏文件

cp id_rsa.pub authorized_keys#将产生authorized_keys,并将公钥加入其内,实现ssh的本机连接

chmod644authorized_keys#为此文件赋权限,仅本机可以修改

将各个机器的id_rsa.pub内容拷贝至各个机器的authorized_keys内,不要覆盖,添加在后面就行,完成各节点无密访问连接,测试:

[root@zhjn1/]#ssh zhjn2

输入yes,出现login in:时间

变为[root@zhjn2/]#

[root@zhjn2/]#exit#退出登录zhjn2

出现logout

以上完成了节点间的无密访问连接。

三、Ansys17.2安装及配置

下载linux下ansysSSQ版本,可以下载在window电脑上,只需要在主节点上安装即可,为方便CentOS安装软件(U盘不能直接拷贝镜像文件,需要转化为光盘,见UltrISO),选择了window和linux之间的文件共享,配置如下:

1.将win下下载好的Ansys17

2.DVD.Linux64、

ANSYS.17.2.LOCAL.LICENSING.LINUX64.CRACK-SSQ、

ANSYS.17.2.LICENSE.MANAGER.LINUX64.CRACK-SSQ放在同一个文件夹下,命名为ansyslinux(可任意起),右键共享,选择everyone,权限选择读写,点击共享完成;

2.在主节点上执行

mkdir/winshare

mount-t cifs-o username=ZHJN,password=https://www.sodocs.net/doc/381470891.html,//192.168.1.126/ansyslinux

/winshare

说明:win电脑的账号,密码和IP地址。

3.打开winshare文件夹即可以看到window下共享的内容,打开DVD,双击ISO文件,自动生成光盘,将光盘内容拷贝至/home/ansys文件夹里(在home里新建ansys文件夹mkdir

/home/ansys);

4.终端chmod-R777/home/ansys为该文件夹赋权。

3.1图形化安装过程

在/home/ansys下打开终端,输入./INSTALL,出现图形化界面,选择安装Install ansys products

选择I agree选项后,下一步

在Install Directory输入软件的安装路径,Browse选择home返回将自动显示/home/ansys_inc,勾选Disable ANSYS RSS Feed选项,点击下一步

端口默认,填上licenses server的主机名(zhjn1)后,选择下一步

默认安装已经选择的产品即可

勾选Skip all and configure later,点击下一步,

出现以下界面,点击下一步

开始安装

安装进度完毕,点击下一步

点击exit退出安装

返回主界面

3.2安装License server

点掉warnning

点击I agree后,下一步

选择ansys的安装路径/home/ansys_inc后,下一步

下一步

选择下一步

安装完毕,不要选择启动license management center,直接退出即可。

3.3配置和启动License server

解压crack包,解压出shared_files文件夹(也可以在win下解压好,此处只需要拷贝和覆盖就可以)

[root@mu01ANSYS.17.2.LICENSE.MANAGER.LINUX64.CRACK-SSQ]#

tar xvf ANSYS.17.2.LICENSE.MANAGER.LINUX64.CRACK-SSQ.tar.xz

license.txt

shared_files/

shared_files/licensing/

shared_files/licensing/linx64/

shared_files/licensing/linx64/ansysli_server

shared_files/licensing/linx64/ansysli_client

shared_files/licensing/tools/

shared_files/licensing/tools/lmcenter/

shared_files/licensing/tools/lmcenter/WEB-INF/

shared_files/licensing/tools/lmcenter/WEB-INF/classes/

shared_files/licensing/tools/lmcenter/WEB-INF/classes/lmcenter/

shared_files/licensing/tools/lmcenter/WEB-INF/classes/lmcenter/LF_CheckIncre ments.class

shared_files/licensing/tools/lmcenter/WEB-INF/classes/lmcenter/LicenseFile.cla ss

shared_files/licensing/tools/lmcenter/WEB-INF/classes/lmcenter/LF_CheckHost ID.class

[root@mu01ANSYS.17.2.LICENSE.MANAGER.LINUX64.CRACK-SSQ]#

替换安装目录的文件(将/home/ansys_inc/shared_files文件夹替换,选择覆盖就可以),然后拷贝license.txt到/home/ansys_inc/shared_files/licensing目录下,改名为license.dat,(复制、粘贴和重命名使用右键copy、paste和Rename即可,也可用cp命令),修改license.dat第1行的SERVER localhost any1055中的localhost为相应的软件安装所在机器的主机名,zhjn1,显示如下:

SERVER zhjn1ANY1055

VENDOR ansyslmd

并行计算综述

并行计算综述 姓名:尹航学号:S131020012 专业:计算机科学与技术摘要:本文对并行计算的基本概念和基本理论进行了分析和研究。主要内容有:并行计算提出的背景,目前国内外的研究现状,并行计算概念和并行计算机类型,并行计算的性能评价,并行计算模型,并行编程环境与并行编程语言。 关键词:并行计算;性能评价;并行计算模型;并行编程 1. 前言 网络并行计算是近几年国际上并行计算新出现的一个重要研究方向,也是热门课题。网络并行计算就是利用互联网上的计算机资源实现其它问题的计算,这种并行计算环境的显著优点是投资少、见效快、灵活性强等。由于科学计算的要求,越来越多的用户希望能具有并行计算的环境,但除了少数计算机大户(石油、天气预报等)外,很多用户由于工业资金的不足而不能使用并行计算机。一旦实现并行计算,就可以通过网络实现超级计算。这样,就不必要购买昂贵的并行计算机。 目前,国内一般的应用单位都具有局域网或广域网的结点,基本上具备网络计算的硬件环境。其次,网络并行计算的系统软件PVM是当前国际上公认的一种消息传递标准软件系统。有了该软件系统,可以在不具备并行机的情况下进行并行计算。该软件是美国国家基金资助的开放软件,没有版权问题。可以从国际互联网上获得其源代码及其相应的辅助工具程序。这无疑给人们对计算大问题带来了良好的机遇。这种计算环境特别适合我国国情。 近几年国内一些高校和科研院所投入了一些力量来进行并行计算软件的应用理论和方法的研究,并取得了可喜的成绩。到目前为止,网络并行计算已经在勘探地球物理、机械制造、计算数学、石油资源、数字模拟等许多应用领域开展研究。这将在计算机的应用的各应用领域科学开创一个崭新的环境。 2. 并行计算简介[1] 2.1并行计算与科学计算 并行计算(Parallel Computing),简单地讲,就是在并行计算机上所作的计算,它和常说的高性能计算(High Performance Computing)、超级计算(Super Computing)是同义词,因为任何高性能计算和超级计算都离不开并行技术。

并行计算-练习题

2014年《并行计算系统》复习题 (15分)给出五种并行计算机体系结构的名称,并分别画出其典型结构。 ①并行向量处理机(PVP) ②对称多机系统(SMP) ③大规模并行处理机(MPP) ④分布式共享存储器多机系统(DSM) ⑤工作站机群(COW) (10分)给出五种典型的访存模型,并分别简要描述其特点。 ①均匀访存模型(UMA): 物理存储器被所有处理机均匀共享 所有处理机访存时间相同 适于通用的或分时的应用程序类型 ②非均匀访存模型(NUMA): 是所有处理机的本地存储器的集合 访问本地LM的访存时间较短 访问远程LM的访存时间较长 ③Cache一致性非均匀访存模型(CC-NUMA): DSM结构 ④全局Cache访存模型(COMA): 是NUMA的一种特例,是采用各处理机的Cache组成的全局地址空间 远程Cache的访问是由Cache目录支持的 ⑤非远程访存模型(NORMA): 在分布式存储器多机系统中,如果所有存储器都是专用的,而且只能被本地存储机访问,则这种访问模型称为NORAM 绝大多数的NUMA支持NORAM 在DSM中,NORAM的特性被隐匿的 3. (15分)对于如下的静态互连网络,给出其网络直径、节点的度数、对剖宽度,说明该网络是否是一个对称网络。 网络直径:8 节点的度数:2 对剖宽度:2 该网络是一个对称网络 4. (15分)设一个计算任务,在一个处理机上执行需10个小时完成,其中可并行化的部分为9个小时,不可并行化的部分为1个小时。问: (1)该程序的串行比例因子是多少,并行比例因子是多少? 串行比例因子:1/10

并行比例因子:9/10 如果有10个处理机并行执行该程序,可达到的加速比是多少? 10/(9/10 + 1) = 5.263 (3)如果有20个处理机并行执行该程序,可达到的加速比是多少? 10/(9/20 + 1)= 6.897 (15分)什么是并行计算系统的可扩放性?可放性包括哪些方面?可扩放性研究的目的是什么? 一个计算机系统(硬件、软件、算法、程序等)被称为可扩放的,是指其性能随处理机数目的增加而按比例提高。例如,工作负载能力和加速比都可随处理机的数目的增加而增加。可扩放性包括: 1.机器规模的可扩放性 系统性能是如何随着处理机数目的增加而改善的 2.问题规模的可扩放性 系统的性能是如何随着数据规模和负载规模的增加而改善 3.技术的可扩放性 系统的性能上如何随着技术的改变而改善 可扩放性研究的目的: 确定解决某类问题时何种并行算法与何种并行体系结构的组合,可以有效的利用大量的处理器; 对于运用于某种并行机上的某种算法,根据在小规模处理机的运行性能预测移植到大规模处理机上的运行性能; 对固定问题规模,确定最优处理机数和可获得的最大的加速比 (15分)给出五个基本的并行计算模型,并说明其各自的优缺点。 ①PRAM:SIMD-SM 优点: 适于表示和分析并行计算的复杂性; 隐匿了并行计算机的大部底层细节(如通信、同步),从而易于使用。 缺点: 不适于MIMD计算机,存在存储器竞争和通信延迟问题。 ②APRAM:MIMD-SM 优点: 保存了PRAM的简单性; 可编程性和可调试性(correctness)好; 易于进行程序复杂性分析。 缺点: 不适于具有分布式存储器的MIMD计算机。 ③BSP:MIMD-DM 优点: 把计算和通信分割开来; 使用hashing自动进行存储器和通信管理; 提供了一个编程环境。 缺点: 显式的同步机制限制并行计算机数据的增加; 在一个Superstep中最多只能传递h各报文。

大数据与并行计算

西安科技大学 计算机科学与技术学院 实习报告 课程:大数据和并行计算 班级:网络工程 姓名: 学号:

前言 大数据技术(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。 特点具体有: 大数据分析相比于传统的数据仓库应用,具有数据量大、查询分析复杂等特点。《计算机学报》刊登的“架构大数据:挑战、现状与展望”一文列举了大数据分析平台需要具备的几个重要特性,对当前的主流实现平台——并行数据库、MapReduce及基于两者的混合架构进行了分析归纳,指出了各自的优势及不足,同时也对各个方向的研究现状及作者在大数据分析方面的努力进行了介绍,对未来研究做了展望。 大数据的4个“V”,或者说特点有四个层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,处理速度快,1秒定律,可从各种类型的数据中快速获得高价值的信息,这一点也是和传统的数据挖掘技术有着本质的不同。第四,只要合理利用数据并对其进行正确、准确的分析,将会带来很高的价值回报。业界将其归纳为4个“V”——Volume(数据体量大)、Variety(数据类型繁多)、Velocity(处理速度快)、Value(价值密度低)。 从某种程度上说,大数据是数据分析的前沿技术。简言之,从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力。 1.大数据概念及分析 毫无疑问,世界上所有关注开发技术的人都意识到“大数据”对企业商务所蕴含的潜在价值,其目的都在于解决在企业发展过程中各种业务数据增长所带来的痛苦。 现实是,许多问题阻碍了大数据技术的发展和实际应用。 因为一种成功的技术,需要一些衡量的标准。现在我们可以通过几个基本要素来衡量一下大数据技术,这就是——流处理、并行性、摘要索引和可视化。 大数据技术涵盖哪些内容? 1.1流处理 伴随着业务发展的步调,以及业务流程的复杂化,我们的注意力越来越集中在“数据流”而非“数据集”上面。 决策者感兴趣的是紧扣其组织机构的命脉,并获取实时的结果。他们需要的是能够处理随时发生的数据流的架构,当前的数据库技术并不适合数据流处理。 1.2并行化 大数据的定义有许多种,以下这种相对有用。“小数据”的情形类似于桌面环境,磁盘存储能力在1GB到10GB之间,“中数据”的数据量在100GB到1TB之间,“大数据”分布式的存储在多台机器上,包含1TB到多个PB的数据。 如果你在分布式数据环境中工作,并且想在很短的时间内处理数据,这就需要分布式处理。 1.3摘要索引 摘要索引是一个对数据创建预计算摘要,以加速查询运行的过程。摘要索引的问题是,你必须为要执行的查询做好计划,因此它有所限制。 数据增长飞速,对摘要索引的要求远不会停止,不论是长期考虑还是短期,供应商必须对摘要索引的制定有一个确定的策略。 1.4数据可视化 可视化工具有两大类。

如何在超算中心使用fluent做并行计算——入门

现在国内的开放式机群环境越来越多,许多都部署了fluent(大好事),不过还是有许多人不太清楚如何利用这些有用的资源。这里结合我所在单位的情况做一个简单的介绍,其他的机群环境大同小异。 1、什么是机群?有什么特点? 机群又叫集群,当然就是许多的计算机(废话),因为机器太多 了,又需要协同工作,所以需要按照一定的方式来管理,管理 的结构形式叫做拓扑(这个不用管)。机群使用的电脑是刀片(又 薄又长的机箱)形式(为了便于插入机柜),一个刀片一般称为 一个节点。 一般而言,机群会分为三种节点:管理节点(若干台),编译节 点(若干台),计算节点(其余全部)。这三种节点的配置略有 不同(废话),管理节点主要用来存储使用机群的用户的信息,如名字,密码,可以使用机器数的权限,用户状态等等;编译 节点一般用来预查程序故障,用户的程序先在这里试运行,查 看是否与系统兼容等;计算节点用来直接计算其他节点提供来 的程序。 就配置而言,管理节点和编译节点一般相同,会部署软件环境; 计算节点只会部署简单的必要运行文件。计算机点之间会采用 高速交换机,速度可达几十GB/s,如IB等;计算节点与编译、登陆节点之间采用普通的万兆交换机。 2、如何使用机群? 机群中一般采用linux操作系统来操作(多用户情况下效率高),

用户会通过远程登录软件(如xshell)来登录到登陆节点进行个 人的操作(一般会通过VPN网络加密数据传输)。 Linux集群将程序任务分解发送到计算节点上时,是通过LSF作 业调度系统(也有其他的,如PBS等)来实现的,这个系统的 作用是使整个机群负载均衡,便于管理,所以我们使用fluent 也要通过这个系统。在成熟的集群中,用户登录之后,默认便 可以使用作业调度系统了。使用时,除了常见的linux命令以外,调度系统也有一些简单的命令,这个一般会有手册介绍,常用 的就3、5个,很好记。 3、如何在集群中使用fluent? 因为fluent是成熟的封装好的商业软件,所以用户直接使用命 令调用即可。 但是因为大部分的linux下的远程登录是不支持图形界面的,所 以我们看不到在windows下的熟悉界面,无法进行操作。其实, fluent最早也是linux下的软件,它提供了一种jou脚本来操作 各种命令(即帮助中的TUI命令),我们在windows的图形界面 中,也可以在控制台窗口中查看如何使用。这样,我们在启动 fluent软件时,指定它的jou执行脚本即可使软件按照我们的意 图来进行操作了。如果在帮助中找太慢,可以在windows的 fluent图形界面下,右下角控制台中用回车键显示文字命令,q 键返回。 4、实例

基于FPGA的并行计算技术

基于FPGA的并行计算技术 更新于2012-03-13 17:15:57 文章出处:互联网 1 微处理器与FPGA 微处理器普遍采用冯·诺依曼结构,即存储程序型计算机结构,主要包括存储器和运算器2个子系统。其从存储器读取数据和指令到运算器,运算结果储存到存储器,然后进行下一次读取-运算-储存的操作过程。通过开发专门的数据和指令组合,即控制程序,微处理器就可以完成各种计算任务。冯·诺依曼型计算机成功地把信息处理系统分成了硬件设备和软件程序两部分,使得众多信息处理问题都可以在通用的硬件平台上处理,只需要开发具体的应用软件,从而极大地降低了开发信息处理系统的复杂性。然而,冯·诺依曼型计算机也有不足之处,由于数据和指令必须在存储器和运算器之间传输才能完成运算,使得计算速度受到存储器和运算器之间信息传输速度的限制,形成所谓的冯·诺依曼瓶颈[1];同时,由于运算任务被分解成一系列依次执行的读取-运算-储存过程,所以运算过程在本质上是串行的,使并行计算模式在冯·诺依曼型计算机上的应用受到限制。 受到半导体物理过程的限制,微处理器运算速度的提高已经趋于缓慢,基于多核处理器或者集群计算机的并行计算技术已经逐渐成为提高计算机运算性能的主要手段。并行计算设备中包含多个微处理器,可以同时对多组数据进行处理,从而提高系统的数据处理能力。基于集群计算机的超级计算机已经成为解决大型科学和工程问题的有利工具。然而,由于并行计算设备中的微处理器同样受冯·诺依曼瓶颈的制约,所以在处理一些数据密集型,如图像分析等问题时,计算速度和性价比不理想。 现场可编程门阵列(FPGA)是一种新型的数字电路。传统的数字电路芯片都具有固定的电路和功能,而FPGA可以直接下载用户现场设计的数字电路。FPGA技术颠覆了数字电路传统的设计-流片-封装的工艺过程,直接在成品PFGA芯片上开发新的数字电路,极大地扩大了专用数字电路的用户范围和应用领域。自从20世纪80年代出现以来,FPGA技术迅速发展,FPGA芯片的晶体管数量从最初的数万个迅速发展到现在的数十亿个晶体管[2],FPGA 的应用范围也从简单的逻辑控制电路发展成为重要的高性能计算平台。 FPGA芯片中的每个逻辑门在每个时钟周期都同时进行着某种逻辑运算,因此FPGA本质上是一个超大规模的并行计算设备,非常适合用于开发并行计算应用。目前,FPGA已被成功地应用到分子动力学、基因组测序、神经网路、人工大脑、图像处理、机器博弈等领域,取得了数十到数千倍的速度提高和优异的性价比[3-18]。

高性能计算集群(HPC CLUSTER)

高性能计算集群(HPC CLUSTER) 1.1什么是高性能计算集群? 简单的说,高性能计算(High-Performance Computing)是计算机科学的一个分支,它致力于开发超级计算机,研究并行算法和开发相关软件。 高性能集群主要用于处理复杂的计算问题,应用在需要大规模科学计算的环境中,如天气预报、石油勘探与油藏模拟、分子模拟、基因测序等。高性能集群上运行的应用程序一般使用并行算法,把一个大的普通问题根据一定的规则分为许多小的子问题,在集群内的不同节点上进行计算,而这些小问题的处理结果,经过处理可合并为原问题的最终结果。由于这些小问题的计算一般是可以并行完成的,从而可以缩短问题的处理时间。 高性能集群在计算过程中,各节点是协同工作的,它们分别处理大问题的一部分,并在处理中根据需要进行数据交换,各节点的处理结果都是最终结果的一部分。高性能集群的处理能力与集群的规模成正比,是集群内各节点处理能力之和,但这种集群一般没有高可用性。 1.2 高性能计算分类 高性能计算的分类方法很多。这里从并行任务间的关系角度来对高性能计算分类。 1.2.1 高吞吐计算(High-throughput Computing) 有一类高性能计算,可以把它分成若干可以并行的子任务,而且各个子任务彼此间没有什么关联。因为这种类型应用的一个共同特征是在海量数据上搜索某些特定模式,所以把这类计算称为高吞吐计算。所谓的Internet计算都属于这一类。按照Flynn的分类,高吞吐计算属于SIMD(Single Instruction/Multiple Data,单指令流-多数据流)的范畴。 1.2.2 分布计算(Distributed Computing) 另一类计算刚好和高吞吐计算相反,它们虽然可以给分成若干并行的子任务,但是子任务间联系很紧密,需要大量的数据交换。按照Flynn的分类,分布式的高性能计算属于MIMD (Multiple Instruction/Multiple Data,多指令流-多数据流)的范畴。 1.3高性能计算集群系统的特点 可以采用现成的通用硬件设备或特殊应用的硬件设备,研制周期短; 可实现单一系统映像,即操作控制、IP登录点、文件结构、存储空间、I/O空间、作业管理系统等等的单一化; 高性能(因为CPU处理能力与磁盘均衡分布,用高速网络连接后具有并行吞吐能力); 高可用性,本身互为冗余节点,能够为用户提供不间断的服务,由于系统中包括了多个结点,当一个结点出现故障的时候,整个系统仍然能够继续为用户提供服务; 高可扩展性,在集群系统中可以动态地加入新的服务器和删除需要淘汰的服务器,从而能够最大限度地扩展系统以满足不断增长的应用的需要; 安全性,天然的防火墙; 资源可充分利用,集群系统的每个结点都是相对独立的机器,当这些机器不提供服务或者不需要使用的时候,仍然能够被充分利用。而大型主机上更新下来的配件就难以被重新利用了。 具有极高的性能价格比,和传统的大型主机相比,具有很大的价格优势; 1.4 Linux高性能集群系统 当论及Linux高性能集群时,许多人的第一反映就是Beowulf。起初,Beowulf只是一个著名的科学计算集群系统。以后的很多集群都采用Beowulf类似的架构,所以,实际上,现在Beowulf已经成为一类广为接受的高性能集群的类型。尽管名称各异,很多集群系统都是Beowulf集群的衍生物。当然也存在有别于Beowulf的集群系统,COW和Mosix就是另两类著名的集群系统。 1.4.1 Beowulf集群 简单的说,Beowulf是一种能够将多台计算机用于并行计算的体系结构。通常Beowulf系统由通过以太网或其他网络连接的多个计算节点和管理节点构成。管理节点控制整个集群系统,同时为计算节点提供文件服务和对外的网络连接。它使用的是常见的硬件设备,象普通PC、以太网卡和集线器。它很少使用特别定制的硬件和特殊的设备。Beowulf集群的软件也是随处可见的,象Linux、PVM和MPI。 1.4.2 COW集群 象Beowulf一样,COW(Cluster Of Workstation)也是由最常见的硬件设备和软件系统搭建而成。通常也是由一个控制节点和多个计算节点构成。

windows 系统下启动linux主机群的fluent并行操作

windows 系统下启动linux主机群的fluent并行操作 第一步,首先在linux系统下安装好fluent,包括更改环境变量,操作如下: ANSYS 12.0产品的linux安装方法 1.将ANSYS 12.0 安装光盘放进光驱,后,系统会自动Mount,但是这个Mount指定的参数可能不对,则需要执行以下命令: 1.mkdir dvdrom_dir (在根目录下) 2.mount -t iso9660 /dev/cdrom dvdrom_dir 3.cd dvdrom_dir 4../INSTALL (直接运行命令INSTALL即可) 2. 出现下图请选择“I AGREE ”并单击“Next” 3 出现下图请选择对应的操作系统,并单击“ Next” 4. 出现下图,请在“Install directory:” 里写入安装的路径,或者单击“Browse”选择,这里就使用默认路径了

5.出现下图,请选择要安装的产品 6. 出现下图,请单击“Next” 7.出现下图,请选择“Next”

8.出现下图,请选择Next 9. 出现下图证明安装正在进行 10.出现下图证明产品安装完毕,请单击“ Next” 11. 出现下图,请单击“Exit” 12. 出现下图,产品安装完毕,请单击“Next”

13.弹出以下窗口,配置服务器相关信息 请在hostname1下面输入服务器主机名,如“server”,并单击OK。如果碰到无法输入的情况,这时直接点击cancel。再进入ansys的安装目录, ../ansys_inc/shared_files/licensing下,编辑文件ansyslmd.ini,内容为: SERVER=1055@hostname ANSYSLI_SERVERS=2325@hostname 注意:大小写一致。

高性能计算集群项目采购需求

高性能计算集群项目采购需求 以下所有指标均为本项目所需设备的最小要求指标,供应商提供的产品应至少大于或等于所提出的指标。系统整体为“交钥匙”工程,厂商需确保应标方案的完备性。 投标商在投标方案中须明确项目总价和设备分项报价。数量大于“1”的同类设备,如刀片计算节点,须明确每节点单价。 硬件集成度本项目是我校校级高算平台的组成部分,供应商提供的硬件及配件要求必须与现有相关硬件设备配套。相关系统集成工作由供应商负责完成。 刀片机箱供应商根据系统结构和刀片节点数量配置,要求电源模块满配,并提供足够的冗余。配置管理模块,支持基于网络的远程管理。配置交换模块,对外提供4个千兆以太网接口,2个外部万兆上行端口,配置相应数量的56Gb InfiniBand接口 刀片计算节点双路通用刀片计算节点60个,单节点配置2个CPU,Intel Xeon E5-2690v4(2.6GHz/14c);不少于8个内存插槽,内存64GB,主频≥2400;硬盘裸容量不小于200GB,提供企业级SAS或SSD 硬盘;每节点配置≥2个千兆以太网接口,1个56Gb InfiniBand 接口;满配冗余电源及风扇。 刀片计算节点(大内存)双路通用刀片计算节点5个,单节点配置2个CPU,Intel Xeon E5-2690v4;不少于8个内存插槽,内存128GB,主频≥2400;硬盘裸容量不小于200GB,提供企业级SAS或SSD硬盘;每节点配置≥2个千兆以太网接口,1个56Gb InfiniBand接口;满配冗余电源及风扇。 GPU节点2个双路机架GPU节点;每个节点2个Intel Xeon E5-2667 v4每节点2块NVIDIA Tesla K80GPU加速卡;采用DDR4 2400MHz ECC内存,每节点内存16GB*8=128GB;每节点SSD 或SAS硬盘≥300GB;每节点配置≥2个千兆以太网接口,1个56Gb/s InfiniBand接口;满配冗余电源及风扇。 数据存储节点机架式服务器2台,单台配置2颗Intel Xeon E5-2600v4系列CPU;配置32GB内存,最大支持192GB;配置300GB 2.5" 10Krpm

蒙特卡罗方法并行计算

Monte Carlo Methods in Parallel Computing Chuanyi Ding ding@https://www.sodocs.net/doc/381470891.html, Eric Haskin haskin@https://www.sodocs.net/doc/381470891.html, Copyright by UNM/ARC November 1995 Outline What Is Monte Carlo? Example 1 - Monte Carlo Integration To Estimate Pi Example 2 - Monte Carlo solutions of Poisson's Equation Example 3 - Monte Carlo Estimates of Thermodynamic Properties General Remarks on Parallel Monte Carlo What is Monte Carlo? ? A powerful method that can be applied to otherwise intractable problems ? A game of chance devised so that the outcome from a large number of plays is the value of the quantity sought ?On computers random number generators let us play the game ?The game of chance can be a direct analog of the process being studied or artificial ?Different games can often be devised to solve the same problem ?The art of Monte Carlo is in devising a suitably efficient game.

分布式计算、并行计算及集群、网格、云计算的区别

并行计算:并行计算是相对于串行计算来说的。可分为时间上的并行和空间上的 并行。时间上的并行就是指流水线技术,而空间上的并行则是指用多个处理器并 发的执行计算。并行计算的目的就是提供单处理器无法提供的性能(处理器能力 或存储器),使用多处理器求解单个问题。 分布式计算:分布式计算研究如何把一个需要非常巨大的计算能力才能解决的问 题分成许多小的部分,然后把这些部分分配给许多计算机进行处理,最后把这些 计算结果综合起来得到最终的结果。最近的分布式计算项目已经被用于使用世界 各地成千上万位志愿者的计算机的闲置计算能力,通过因特网,可以分析来自外 太空的电讯号,寻找隐蔽的黑洞,并探索可能存在的外星智慧生命等。 并行计算与分布式计算的区别:(1)简单的理解,并行计算借助并行算法和 并行编程语言能够实现进程级并行(如MPI)和线程级并行(如openMP)。而 分布式计算只是将任务分成小块到各个计算机分别计算各自执行。(2)粒度方面,并行计算中,处理器间的交互一般很频繁,往往具有细粒度和低开销的特征,并 且被认为是可靠的。而在分布式计算中,处理器间的交互不频繁,交互特征是粗 粒度,并且被认为是不可靠的。并行计算注重短的执行时间,分布式计算则注重 长的正常运行时间。(3)联系,并行计算和分布式计算两者是密切相关的。某些 特征与程度(处理器间交互频率)有关,而我们还未对这种交叉点(crossover point)进行解释。另一些特征则与侧重点有关(速度与可靠性),而且我们知道 这两个特性对并行和分布两类系统都很重要。(4)总之,这两种不同类型的计算 在一个多维空间中代表不同但又相邻的点。 集群计算:计算机集群使将一组松散集成的计算机软件和/或硬件连接起来高度 紧密地协作完成计算工作。在某种意义上,他们可以被看作是一台计算机。集群 系统中的单个计算机通常称为节点,通常通过局域网连接,但也有其它的可能连 接方式。集群计算机通常用来改进单个计算机的计算速度和/或可靠性。一般情况 下集群计算机比单个计算机,比如工作站或超级计算机性价比要高得多。根据组 成集群系统的计算机之间体系结构是否相同,集群可分为同构与异构两种。集群 计算机按功能和结构可以分为,高可用性集群(High-availability (HA) clusters)、负载均衡集群(Loadbalancing clusters)、高性能计算集群 (High-performance (HPC)clusters)、网格计算(Grid computing)。 高可用性集群,一般是指当集群中有某个节点失效的情况下,其上的任务会自动 转移到其他正常的节点上。还指可以将集群中的某节点进行离线维护再上线,该 过程并不影响整个集群的运行。

Fluent17.2在基于Linux下PC集群的并行计算

Fluent17.2在基于Linux PC集群的并行计算 软件需求可联系QQ:2294976284

目录 一、CentOS7.2.1.15安装及配置 (3) 1.1软件下载及安装 (3) 1.2配置 (4) 1.2.1网络配置 (4) 1.2.2用户名更改 (4) 二、计算集群配置 (5) 2.1NFS配置 (5) 2.2无密访问连接(RSH、SSH) (8) 2.2.1SSH配置 (8) 三、Ansys17.2安装及配置 (9) 3.1图形化安装过程 (10) 3.2安装License server (16) 3.3配置和启动License server (19) 3.4启动fluent GUi界面 (23) 3.4fluent并行计算 (24)

一、CentOS7.2.1.15安装及配置 1.1软件下载及安装 为方便后期软件环境的配置,采用CentOS-7-x86_64-Everything-1511.ISO版本,安装采用光盘转U盘启动,可以通过UltraISO软件实现,在软件中“文件”打开CentOS7的ISO镜像文件,“启动”选择“写入硬盘映像”,硬盘驱动器选择插入的U盘,保证U盘空间在9G 以上,写入方式选择USB-HDD+v2,点击写入等待完成即可,注意写入过程会格式化整个U 盘,为防止文件丢失,作为启动U盘应为空白盘。 U盘插入目标电脑,以BIOS模式启动,清华同方电脑为启动时按F12进入,选择U盘点击开始安装,出现安装界面后选择第二项“Test and install…”,为防止Fluent计算环境配置出错,采用英文环境安装,进入图形化安装界面,“DATE&TIME”选择city Shanghai,调整时间后左上角点击Done返回上一级页面;点击SOFTWARE SELECTION进入软件安装界面,由于linux下软件依赖性强,对于系统不是很精通选择全部安装,在左侧每一项对应的右侧选项上左键选中,依次全选后点击Done返回;点击INSTALLATION DESTINATION进行系统安装位置的配置,上方选择要安装系统的硬盘,下方选择“I will configure a portitioning”,点击Done进行配置,若选择安装的硬盘内有其他文件占用空间,选择左下方条目,选择“—”号弹出删除界面,点击并选择Delete It将删除原有文件并释放空间,选择“New mount points will…”下的下拉框,格式选为Standard,上方选择“Click here to creat them automatically”将自动产生分区,依次点击,在右侧Desired Capacity进行容量分配,其中/boot和/swap选择 4GiB~10GiB,/和/home分配剩余所有空间,其中/home可以分配很大,(参考个人总容量为931G,

Materials Studio Linux 集群安装手册(比较详细)

Materials Studio Linux集群安装手册 一、安装Linux操作系统,进行系统配置 一般都建议最小化安装,不用安装图形界面。下面我以red hat enterprise linux 6.0 x86-64在AMD Athlon(tm)64 X2 Dual Core Processor 4400+ 电脑上的安装为例。rhel6.0的安装过程和windows差不多,一路下一步(或Next)基本就ok了,在您要进行哪种类型的安装?你如果是第一次安装,是新硬盘的话可以选使用所有空间,并勾选下边的查看并修改分区布局,然后下一步,你可以看下大概的分区情况,在Red Hat Enterprise Linux 的默认安装是基本服务器安装。如果对Linux不太熟的话,最好选择软件开发工作站(或Software Development Workstation),这样基本上把要用的软件都安装上了,然后再选上下边的现在自定义(或 Customize now),再下一步,然后把所有能选上的软件都选上,再一路下一步。安装完以后,创建一个非root用户,比如创建一个msi用户,root和msi用户密码设的简单一些比较好,别一会儿你自己都忘了,我是root和msi用的一个密码,当然将来你自己真正组建集群用于计算的时候再设置复杂一些,这样课题提高系统的安全性。 gcc glibc-2.3.4-2.43 (32-bit and 64-bit) libgcc-3.4.6-11 (32-bit and 64-bit) libstdc++-33-3.4.6-11 (32-bit and 64-bit) compat-libstdc++-33-3.2.3-47.3 (32-bit) hpmpi-2.03.01.00-20090402r.x86_64 这几个补丁,好像除了hpmpi-2.03.01.00-20090402r.x86_64和 libstdc++-33-3.4.6-11 (32-bit)没有装上之外,别的都给你装好了。这里要说的是,这些补丁每个节点都要装,千万记住。你可以用命令: rpm -qa|grep gcc 查询,当然你要查libstdc++就要用命令:rpm -qa|grep libstdc++了。对于hpmpi-2.03.01.00-20090402r.x86_64和libstdc++-33-3.4.6-11 (32-bit)的安装可以用命令rpm安装,首先切换到这两个软件包所在的目录下,执行下列命令,格式如下: rpm -ivh libstdc++-33-3.4.6-11.i386.rpm rpm -ivh hpmpi-2.03.01.00-20090402r.x86_64.rpm

高性能并行计算系统检查点技术与应用

高性能并行计算系统检查点技术与应用    孙国忠 李艳红 樊建平    (中国科学院计算技术研究所 中国科学院研究生院 北京 100080)  (sgz@https://www.sodocs.net/doc/381470891.html,,lyh@https://www.sodocs.net/doc/381470891.html,,fan@https://www.sodocs.net/doc/381470891.html,)   摘 要 随着高性能并行计算系统规模越来越大,软件和硬件发生故障的概率随之增大,系统的容错性和可靠性已经成为应用可扩展性的主要限制因素。并行检查点技术可以使系统从故障中恢复并减少计算损失,是高性能计算系统重要的容错手段。本文将介绍检查点技术的背景和定义,研究并行检查点协议的分类,检查点存储技术,以及利用这些协议和技术实现的MPI并行检查点系统,最后给出对各个关键技术的详细评价及结论。    关键词 高性能计算;消息传递系统;并行检查点;回滚恢复  中图法分类号 TP31    A Survey of Checkpointing Technology and It’s Application for High Performance Parallel Systems   Sun Guo-Zhong Li Yan-Hong Fan Jian-Ping (Institute of Computing Technology,Chinese Academy of Sciences/Graduate School of the Chinese Academy of Sciences, Beijing 100080) (sgz@https://www.sodocs.net/doc/381470891.html, lyh@https://www.sodocs.net/doc/381470891.html, fan@ict.ac.cn) Abstract With the scale of high performance parallel computing systems becoming larger,the fault probability of software and hardware in these systems is increased.As a result, issues of fault tolerance and reliability are becoming limiting factors on application scalability.Parallel checkpointing can help fault system recover from fault and reduce the computing losing,and is an important method for tolerating fault of high performance computing system.This paper will discuss the background and definitions of checkpointing,classify of parallel checkpointing protocols, checkpoint storage technology, and several MPI systems adopting these parallel checkpointing protocols.At last we give appraisement of these key technologies and list our conclusions.   Key words High Performance Computing; Message Passing System; Parallel Checkpointing ; Rollback Recovery   1 引 言    高性能并行计算领域的容错技术由于以下几种情况而越发受到重视。1)在一台高性能计算机系统中,总的处理器数快速增长。如BlueGene/L 总的处理器有130,000个,有证据表明这样的一台机器几个小时就要有一个处理器失效。虽然处理器总数的提高带来了性能提高,但是也提高了故障点的数目。2)大多数并行计算机系统正在从采用昂贵的硬件系统向低成本、由处理器和光纤网络定制组装的cluster转变,以及采用Internet范围内网格技术来执行程序导致硬件发生故障的概率较高。3)很多科学计算任务被设计成一次运行几天或者几个月,例如ASCI的stockpile certification 程序以及BlueGene当中的ab initio 蛋白质折叠程序将运行几个月。由于应用的运行时间比硬件的平均故障间隔时间(MTBF)长,科学计算程序必须 本课题得到国家高科技发展计划(863)基金支持(2003AA1Z2070)和中国科学院知识创新工程支持(20036040) 具有对硬件故障的容错技术。采用检查点技术恢复应用运行是一种有效的容错方法。 检查点技术除了实现系统容错,还能协助实现灵活的作业调度。例如,拥有高性能计算系统的气象局要在每天的固定时段加载资源独占作业进行气象预报或者运行紧急作业,需要暂停原来运行的其它作业。因此必须记录原来作业的检查点并在完成紧急作业后恢复运行。 可见,采用检查点技术可以实现系统容错,实现灵活的作业调度以及提高资源利用率。本文将通过对各种并行检查点技术的分析比较,呈现出高性能并行计算系统检查点机制的发展状况,存在的问题和研究前景。   2背景和定义  检查点技术在各个领域都进行了广泛研究,如硬件级指令重试、分布式共享内存系统、系统调试、实时系统等。本文侧重于高性能并行计算系统,主要包括MPP、Cluster。这些系统的进程之间通过消息传递实现通信,本文中也称为消息传

基于Linux的集群存储系统

文章编号:1007-757X(2006)08-0053-03 基于Linux的集群存储系统 郭国文 摘 要:介绍了集群存储系统常用的模式、相关技术特点及其工作原理,以及L inux集群系统的软件构成,最后用实例说明了如何在L inux下构建集群存储系统 关键词:集群;均衡;节点;镜像 中图分类号:T P311.1 文献标识码:A 1 引言 集群(Cluster),是由一群同时运行同一个应用的服务器组成的服务器组,形成一个虚拟的服务器,为客户端用户提供统一的服务。为了均衡集群服务器的负载,达到优化系统性能的目的,集群服务器将众多的访问请求,分散到系统中的不同节点进行处理。从而实现了更高的有效性和稳定性。[1]早在几年前,集群技术就被应用于数据中心的服务器设备上,效果显著。与分布式文件系统相比,集群存储系统有几大优势:因为数据不需要从一个文件系统拷贝或复制到另一个文件系统,通过集群系统共享应用和数据的任务执行起来要比在单独的设备上执行快得多;集群可以为文件和文件系统提供更多的空间;如果集群内的某台服务器出现了故障,另一台服务器就可以把它的工作接手过来,故障恢复也成为了现实;用户也可以同时对位于其网络上的存储设备里的所有文件进行访问。 2 集群存储常见的两种模式的比较 集群中的每个节点能够访问集群中所有节点的所有数据、重做日志文件、控制文件和参数文件。数据磁盘由于在全局范围内可用,允许所有节点访问数据库。每个节点都有自己的重做日志和控制文件,但其他节点必须能够访问这些文件,以便在系统故障时恢复该节点。通过应用集群技术,不仅可有效提升数据中心服务器系统的稳定性、可用性及可管理性,同时,允许用户使用价格相对低廉的配置(如刀片)捆绑来替代昂贵的单块集成电路的高端服务器,在不影响性能的情况下节约了存储成本。 集群存储常见的两种模式是镜像服务器双机(如图1所示)和双机与磁盘阵列柜(如图2所示)。[2]集群中镜像服务器双机系统是硬件配置最简单和价格最低廉的解决方案,通常镜像服务的硬件配置需要两台服务器,在每台服务器有独立操作系统硬盘和数据存储硬盘,每台服务器有与客户端相连的网卡,另有一对镜像卡或完成镜像功能的网卡。 镜像服务器具有配置简单,使用方便,价格低廉诸多优点,但由于镜像服务器需要采用网络方式镜像数据,通过镜像软件实现数据的同步,因此需要占用网络服务器的CP U及内存资源,镜像服务器的性能比单一服务器的性能要低一些。 有一些镜像服务器集群系统采用内存镜像的技术,这个技术的优点是所有的应用程序和网络操作系统在两台服务器上镜像同步,当主机出现故障时,备份机可以在几乎没有感觉的情况下接管所有应用程序。但是因为两个服务器的内存完全一致,当系统应用程序带有缺陷从而导致系统死机时,两台服务器会同步死机。同时,在大数据量读写过程中两台服务器在某些状态下会产生数据不同步,因此镜像服务器适合那些预算较少、对集群系统要求不高的用户。 与镜像服务器双机系统相比,双机与磁盘阵列柜互联结构多出了第三方生产的磁盘阵列柜,目前,豪威公司、精业公司等许多公司都生产有磁盘阵列柜,在磁盘阵列柜中安装有磁盘阵列控制卡,阵列柜可以直接将柜中的硬盘配置成为逻辑盘阵。磁盘阵列柜通过SCSI电缆与服务器上普通SCSI卡相连,系统管理员需 直接在磁盘柜上配置磁盘阵列。 图1 镜像服务器双机 双机与磁盘阵列柜互联结构不采用内存镜像技术,因此需要有一定的切换时间(通常为60—180秒),它可以有效的避免由于应用程序自身的缺陷导致系统全部死机,同时由于所有的数据全部存储在磁盘阵列柜中,当工作机出现故障时, 作者简介:郭国文,浙江万里学院,讲师,宁波 315100

并行计算考试复习

1在并行机系统中,主流操作系统有UNIX/Linux,AIX(IBM),HPUX(HP),Solaris(SUN),IRIX(SGI)等。 2 常用的并行算法设计的基本技术有划分,分治,倍增,流水域,破对称,平衡 树等设计技术。 3 Matlab并行程序编写过程分为创建对象,创建工作,指定工作任务,提交工作,等待和返回计算任务结果六步。 1. 云计算是对( D )技术的发展与运用 A. 并行计算 B网格计算 C分布式计算 D三个选项都是 2. IBM在2007年11月退出了“改进游戏规则”的( A )计算平台,为客户带来即买即用的云计算平台。 A. 蓝云 B. 蓝天 C. ARUZE D. EC2 3. 微软于2008年10月推出云计算操作系统是( C ) A. Google App Engine B. 蓝云 C. Azure D. EC2 4. 2008年,( A )先后在无锡和北京建立了两个云计算中心 A. IBM B. Google C. Amazon D. 微软 5. 将平台作为服务的云计算服务类型是( B ) A. IaaS B.PaaS C.SaaS D.三个选项都不是 6. 将基础设施作为服务的云计算服务类型是( A ) A. IaaS B.PaaS C.SaaS D.三个选项都不是 7. IaaS计算实现机制中,系统管理模块的核心功能是( A ) A. 负载均衡 B 监视节点的运行状态 C应用API D. 节点环境配置 8. 云计算体系结构的( C )负责资源管理、任务管理用户管理和安全管理等工作 A.物理资源层 B. 资源池层 C. 管理中间件层 D. SOA构建层 9. 下列不属于Google云计算平台技术架构的是( D ) A. 并行数据处理MapReduce B.分布式锁Chubby C. 结构化数据表BigTable D.弹性云计算EC2 10. 在目前GFS集群中,每个集群包含( B )个存储节点 A.几百个 B. 几千个 C.几十个 D.几十万个 11. 下列选项中,哪条不是GFS选择在用户态下实现的原因( D ) A.调试简单 B.不影响数据块服务器的稳定性 C. 降低实现难度,提高通用性 D. 容易扩展 12. GFS中主服务器节点存储的元数据包含这些信息( BCD ) A.文件副本的位置信息 B.命名空间 C. Chunk与文件名的映射 D. Chunk副本的位置信息 13. 单一主服务器(Master)解决性能瓶颈的方法是( ABCD ) A.减少其在数据存储中的参与程度 B. 不适用Master读取数据 C.客户端缓存元数据 D. 采用大尺寸的数据块 14. ( B )是Google提出的用于处理海量数据的并行编程模式和大规模数据集的并行运算的软件 架构。 A. GFS B.MapReduce C.Chubby D.BitTable 15. Mapreduce适用于( D ) A. 任意应用程序 B. 任意可在windows servet2008上运行的程序 C.可以串行处理的应用程序 D. 可以并行处理的应用程序

相关主题