基于软RAID+的Lustre+性能影响要素简析

基于软RAID 的Lustre 性能影响要素简析

作者：张丹丹， 姚继锋

作者单位：张丹丹(上海超级计算中心 上海 201203

Email:ddzhang@https://www.sodocs.net/doc/733824158.html,)， 姚继锋(上海超级计算中心 上海 201203 Email:ddzhang@https://www.sodocs.net/doc/733824158.html,)

相似文献(8条)

1.会议论文刘素芹.李兴盛.硕珺.孟令芬从精细石油勘探看高性能计算2008

精细石油勘探对高性能计算有更高的要求。本文通过自行研制的BGSS地震资料处理系统，分析了精细石油勘探的特点，指出高性能集群计算存在的缺陷，主要包括磁盘I/O瓶颈、节点失效问题、64位系统的潜能挖掘等，探讨了解决办法，对高性能计算提出了建议。

2.会议论文陈欢.熊劲.孙凝晖United-FS 的数据放置策略研究2008

存储服务器是机群系统中的重要组成部分。随着硬件的发展，集中式的存储服务器可以提供更大的容量和带宽，可以同时为更多的高性能计算应用提供存储服务。然而，每个应用具有不同的负载特征，不同的存储部件以及本地文件系统也具有不同的特征，单一的存储模式难以为多样的I/O负载提供高效的存储。因此如何根据负载特征及存储部件的特征

，将数据放置在合适的存储部件上成为一个关键问题。本文提出了并且在United-FS文件系统中实现了一种面向负载特征及存储特征的灵活的放置策略。该策略将不同特征的负载相分离，将数据放置在最适合于该负载特征的底层存储上，同时能够充分利用存储的并发性。实验结果表明，这种灵活的数据放置策略对不同的负载类型均能表现出很好的性能。

3.会议论文孙兆玉.袁志平.黄宇光面向数据密集型计算Hadoop 及其应用研究2008

当前的数据密集型计算需要处理PB级数据集和GB级数据流，面临着大规模数据管理、复杂计算环境管理、可扩展计算平台等方面的难题。Hadoop是一种易扩展的分布式计算架构，能将廉价PC节点联合起来提供大型计算服务—其HDFS提供大规模存储管理，其Map-Reduce并行框架为用户提供容易使用的并行编程模式。本文研究了Hadoop架构并探讨了在数据密集型计算中的应用。

4.会议论文郑翔.王希阳基于文件分条的网络数据RAID5 冗余方法2008

本文介绍了一种基于文件分条的网络数据RAID5校验冗余算法，及其实现方法，该方法尤其适用于海量存储系统。

5.会议论文曹立强.罗红兵基于跟踪统计的并行I/O 测试方法及实现2008

当前国内外有许多并行I/O测试程序， 它们使用了采样式的测量方法。该方法有两方面的缺陷。其一，测试结果过于简化，用户得不到I/O过程内部的性能。其二，测试精度依赖于采样点数量。本文提出了I/O过程中的剖面带宽概念。它反映了文件系统服务I/O过程不同阶段的能力。设计了跟踪-统计的测试方法，并在测试程序Profbandwidth 中实现。实践证明，新的测试程序不仅获得并行I/O系统的剖面带宽，还缩短了并行I/O测试的时间，提高了测试效率。

6.会议论文王红艳.景志洁国家智能计算机研究开发中心，中科院计算机系统结构重点实验室，中科院计算技术研究所 北京 100190

2008

Panasas存储集群系统提供了一种软硬件一体化的集成存储解决方案。系统提供的PanFS并行文件系统是一个以对象为基础架构的可扩展的分布式文件系统。Panasas提供了巨大的数据吞吐率和随机I/O 性能，提供了优异的可扩展性和简化的管理，更好地满足了用户对存储性能和管理的期望。

7.会议论文虞美兰.许勇多核处理器的存储控制器设计研究2008

本文总结了存控设计的常用调度策略和常规调度算法，指出了多核处理器存控设计遇到的新挑战，介绍了三种最新的调度算法并进行了分析。

8.学位论文于二青快速有限元分析程序的系统设计与算法优化2009

在过去的四十多年里，有限元法在结构工程分析与仿真方面得到了广泛的应用。随着有限元问题的复杂性与规模的剧增，人们对有限元高性能计算的要求越来越高。有限元高性能计算主要依靠两个方面：一是硬件的不断升级，二是对有限元程序系统的优化设计。硬件的升级依赖于计算机物理特性的提升，因此造价很高，并且受硬件更新速度的制约。对于大型工作站或计算中心，虽然计算效率高、可求解问题的规模大，但它毕竟不能普及应用于个人电脑。因此，在特定的硬件条件下，设计出针对个人电脑的高效有限元程序系统是首选的方案。

一个高效的有限元程序系统主要包括两个方面：高效的程序框架系统及求解器算法。有限元程序框架系统设计主要包括开发过程中的分析、设计与编程等。传统的有限元程序多采用面向过程的方法进行编写，这些代码包含了许多复杂的数据结构，并且通过过程来访问，这就大大制约了程序的可维护性，而与之对应的面向对象方法成功地解决了这一难题。在大型有限元计算中，有限元方程组的求解是最耗时的部分。有限元方程组求解的效率主要取决于所选用的求解器及相应的求解算法。优秀的求解算法，可以在减少数据存贮量的同时也提高求解速度，从而解决了有限元程序的解题规模受限及效率低下两个主要问题。

本文首先阐述了面向对象方法在结构有限元程序开发中的必要性，探讨了利用统一建模语言(UML)及建模工具Rational Rose对有限元程序系统进行建模的方法。针对有限元程序的系统框架设计，深入地剖析了有限元程序系统中面向对象方法的类的特征及作用，讨论了各类之间的静态关系、动态关系等，并根据类的静、动态关系初步设计出本文的有限元程序系统框架模型。

针对有限元程序系统的求解效率，本文研究了大型、稀疏、对称、正定有限元总刚矩阵的数据存贮结构及快速分解算法。针对杆系有限元模型，提出了基于自由度的有限元结构拓扑关系图(DOFG)。利用DOFG拓扑关系分析，并针对结构有限元总刚矩阵一维变带宽存贮的特点，对传统的RCM算法进行了改进，使其可直接用于一维变带宽存贮总刚矩阵的重排序。对基于一维列压缩稀疏存贮(CSC)的总刚矩阵，本文重点讨论了填充元优化算法中的近似最小度(AMD)算法，并利用稀疏LDLT分解对有限元方程组进行求解。本文编制了三维杆系结构有限元静力、线性分析程序，并将改进的RCM算法及AMD算法应用于程序的求解器中。大量算例表明：本文编写的结构有限元程序系统具有较好的可维护性、易扩充性；同时，也表明本文采用的快速直接分解算法的实用性与高效性。

本文链接：https://www.sodocs.net/doc/733824158.html,/Conference_6879110.aspx

授权使用：北京邮电大学(byab)，授权号：36a4e354-57bf-4cd4-83ea-9e3700a4ff73

下载时间：2010年11月23日