搜档网
当前位置:搜档网 › 存储系统那些事

存储系统那些事

存储系统那些事
存储系统那些事

存储系统从其与生俱来的使命来说,就难以摆脱复杂系统的魔咒。无论是从单机时代的文件系统,还是后来C/S或B/S结构下数据库这样的存储中间件兴起,还是如今炙手可热的云存储服务来说,存储都很复杂,而且是越来越复杂。

存储为什么会复杂,要从什么是存储谈起。存储这个词非常平凡,存储+ 计算(操作)就构成了一个朴素的计算机模型。简单来说,存储就是负责维持计算系统的状态的单元。从维持状态的角度,我们会有最朴素的可靠性要求。比如单机时代的文件系统,机器断电、程序故障、系统重启等常规的异常,文件系统必须可以正确地应对,甚至对于磁盘扇区损坏,文件系统也需要考虑尽量将损失降到最低。对于大部分的业务程序而言,你只需要重点关注业务的正常分支流程就行,对于出乎意料的情况,通常只需抛出一个错误,告诉用户你不该这么玩。但是对于存储系统,你需要花费绝大部分精力在各种异常情况的处理上,甚至你应该认为,这些庞杂的、多样的错误分支处理,才是存储系统的“正常业务逻辑”。

到了互联网时代,有了C/S或B/S结构,存储系统又有了新指标:可用性。为了保证服务质量,那些用户看不见的服务器程序必须时时保持在线,最好做到逻辑上是不宕机的(可用性100%)。服务器程序怎么才能做到高可用性?答案是存储中间件。没有存储中间件,意味着所有的业务程序,都必须考虑每做一步就对状态进行持久化,以便自己挂掉后另一台服务器(或者自己重启后),知道之前工作到哪里了,接下去应该做些什么。但是对状态进行持久化(也就是存储)会非常繁琐,如果每个业务都自己实现,负担无疑非常沉重。但如果有了高可用的存储中间件,服务器端的业务程序就只需操作存储中间件来更新状态,通过同时启动多份业务程序的实例做互备和负载均衡,很容易实现业务逻辑上不宕机。

所以,数据库这样的存储中间件出现基本上是历史必然。尽管数据库很通用,但它决不会是唯一的存储中间件。比如业务中用到的富媒体(图片、音视频、Office文档等),我们很少会去存储到数据库中,更多的时候我们会把它们放在文件系统里。但是单机时代诞生的文件系统,真的是最适合存储这些富媒体数据的么?不,文件系统需要改变,因为:

1. 伸缩性。单机文件系统的第一个问题是单机容量有限,在存储规模超过一台机器可管理的

时候,应该怎么办。

2. 性能瓶颈。通常,单机文件系统在文件数目达到临界点后,性能会快速下降。在4TB的大

容量磁盘越来越普及的今天,这个临界点相当容易到达。

3. 可靠性要求。单机文件系统通常只是单副本的方案,但是今天单副本的存储早已无法满足

业务的可靠性要求。数据需要有冗余(比较经典的做法是3副本),并且在磁盘损坏时及早修复丢失的数据,以避免所有的副本损坏造成数据丢失。

4. 可用性要求。单机文件系统通常只是单副本的方案,在该机器宕机后,数据就不可读取,

也不可写入。

在分布式存储系统出现前,有一些基于单机文件系统的改良版本被一些应用采纳。比如在单机文件系统上加RAID5 做数据冗余,来解决单机文件系统的可靠性问题。假设RAID5 的数据修复时间是1天(实际上往往做不到,尤其是业务系统本身压力比较大的情况下,留给RAID 修复用的磁盘读写带宽很有限),这种方案单机的可靠性大概是100年丢失一次数据(即可靠性是2个9)。看起来尚可?但是你得小心两种情况。一种是你的集群规模变大,你仍然沿用这个土方法,比如你现在有100 台这样的机器,那么就会变成1年就丢失一次数据。另一种情况是如果实际数据修复时间是3 天,那么单机的可靠性就直降至4年丢失一次数据,100台就会是15天丢失一次数据。这个数字显然无法让人接受。

Google GFS 是很多人阅读的第一份分布式存储的论文,这篇论文奠定了3 副本在分布式存储系统里的地位。随后Hadoop 参考此论文实现了开源版的GFS —— HDFS。但关于Hadoop 的HDFS 实际上业界有不少误区。GFS 的设计有很强的业务背景特征,本身是

用来做搜索引擎的。HDFS 更适合做日志存储和日志分析(数据挖掘),而不是存储海量

的富媒体文件。因为:

1. HDFS 的block 大小为64M,如果文件不足64M 也会占用64M。而富媒体文件大部

分仍然很小,比如图片常规尺寸在100K 左右。有人可能会说我可以调小block 的尺寸来适应,但这是不正确的做法,HDFS 的架构是为大文件而设计的,不可能简单通过调整block 大小就可以满足海量小文件存储的需求。

2. HDFS 是单Master 结构,这决定了它能够存储的元数据条目数有限,伸缩性存在问题。

当然作为大文件日志型存储,这个瓶颈会非常晚才遇到;但是如果作为海量小文件的存储,这个瓶颈很快就会碰上。

3. HDFS 仍然沿用文件系统的API 形式,比如它有目录这样的概念。在分布式系统中维护

文件系统的目录树结构,会遭遇诸多难题。所以HDFS 想把Master 扩展为分布式的元数据集群并不容易。

分布式存储最容易处理的问题域还是单键值的存储,也就是所谓的Key-Value 存储。只有一个Key,就意味着我们可以通过对Key 做Hash,或者对Key 做分区,都能够让请求快速定位到特定某一台存储机器上,从而转化为单机问题。这也是为什么在数据库之后,会冒出来那么多NoSQL 数据库。因为数据库和文件系统一样,最早都是单机的,在伸缩性、性能瓶颈(在单机数据量太大时)、可靠性、可用性上遇到了相同的麻烦。NoSQL 数据库的名字其实并不恰当,他们更多的不是去SQL,而是去关系(我们知道数据库更完整的称呼是关系型数据库)。有关系意味着有多个索引,也就是有多个Key,而这对数据库转为分布式存储系统来说非常不利。

七牛云存储的设计目标是针对海量小文件的存储,所以它对文件系统的第一个改变也是去关系,也就是去目录结构(有目录意味着有父子关系)。所以七牛云存储不是文件系统(File System),而是键值存储(Key-Value Storage),用时髦点的话说是对象存储(Object Storage)。不过七牛自己喜欢把它叫做资源存储(Resource Storage),因为它是用来存储静态资源文件的。蛮多七牛云存储的新手会问,为什么我在七牛的API 中找不到创建目录这样的API,根本原因还是受文件系统这个经典存储系统的影响。

七牛云存储的第一个实现版本,从技术上来说是经典的3 副本的键值存储。它由元数据集群和数据块集群组成。每个文件被切成了4M 为单位的一个个数据块,各个数据块按3 副本做冗余。但是作为云存储,它并不仅仅是一个分布式存储集群,它需要额外考虑:

1. 网络问题,也就是文件的上传下载问题。文件上传方面,我们得考虑在相对比较差的网络

条件下(比如2G/3G网络)如何确保文件能够上传成功,大文件(七牛云存储的单文件大小理论极限是1TB)如何能够上传成功,如何能够更快上传。文件下载加速方面,考虑到CDN 已经发展了10 多年的历史,非常成熟,我们决定基于CDN 来做下载加速。2. 数据处理。当用户文件托管到了七牛,那么针对文件内容的数据处理需求也会自然衍生。

比如我们第一个客户就给我们提了图片缩略图相关的需求。在音视频内容越来越多的时候,自然就有了音视频转码的需求。可以预见在Office文档多了后,也就会有Office 文档转换的需求。

所以从技术上来说,七牛云存储是这样的:

七牛云存储= 分布式存储集群+ 上传加速网络(下载外包给CDN)+ 数据处理集群

网络问题并不是七牛要解决的核心问题,只是我们要面对的现实困难。所以在这个问题上如果能够有足够专业的供应商,能够外包我们会尽可能外包。而分布式存储集群的演进和优化,才是我们最核心的事情。早在2012 年2 月,我们就启动了新一代基于纠删码算术冗余的存储系统的研发。新存储系统的关注焦点在:

1. 成本。经典的3 副本存储系统虽然经典,但是代价也是高昂的,需要我们投入3 倍的存

储成本。那么有没有保证高可靠和高可用的前提下把成本做下来?

2. 可靠性。如何进一步提升存储系统的可靠性?答案是更高的容错能力(从允许同时损坏2

块盘到允许同时损坏4块盘),更快的修复速度(从原先3小时修复一块坏盘到30分钟修复一块坏盘)。

3. 伸缩性。如何从系统设计容量、IO吞吐能力、网络拓扑结构等角度,让系统能够支持EB

级别的数据存储规模?关于伸缩性这个话题,涉及的点是全方位的,本文不展开讨论,后面我们另外独立探讨这个话题(让我们把焦点放在成本和可靠性上)。

在经过了四个大的版本迭代,七牛新一代云存储(v2)终于上线。新存储的第一大亮点是引入了纠删码(EC)这样的算术冗余方案,而不再是经典的3 副本冗余方案。我们的EC 采用的是28 + 4,也就是把文件切分为28 份,然后再根据这28 份数据计算出4 份冗余数据,最后把这32 份数据存储在32 台不同的机器上。这样做的好处是既便宜,又提升了可靠性和可用性。从成本角度,同样是要存储1PB 的数据,要买的存储服务器只需3 副本存储的36.5%,经济效益相当好。从可靠性方面,以前3 副本只能允许同时损坏2块盘,现在能够允许同时损坏4块盘,直观来说这大大改善了可靠性(后面讨论可靠性的时候我们给出具体的数据)。从可用性角度,以前能够接受2 台服务器下线,现在能够同时允许4 台服务器下线。

新存储的第二大亮点是修复速度,我们把单盘修复时间从 3 小时提升到了30 分钟以内。

修复时间同样对提升可靠性有着重要意义(后面讨论可靠性的时候我们给出具体的数据)。

这个原因是比较容易理解的。假设我们的存储允许同时坏M 块盘而不丢失数据,那么集群可靠性,就是看在单位修复时间内,同时损坏M+1 块盘的概率。例如,假设我们修复时间是3 小时,那么3 副本集群的可靠性就是看3 小时内同时损坏3 块盘的概率(也就是丢数据的概率)。

让我们回到存储系统最核心的指标——可靠性。首先,可靠性和集群规模是相关的。假设我们有1000 块磁盘的集群,对于3 副本存储系统来说,这1000 块盘同时坏3 块就会发生数据丢失,这个概率显然比3 块盘同时坏3 块要高很多。基于这一点,有些人会想这样的土方法:那我要不把集群分为3 块磁盘一组互为镜像,1000 块盘就是333 组(不好意思多了1块,我们忽略这个细节),是不是可以提升可靠性?这些同学忽略了这样一些关键点:

1. 3 块盘同时坏3 块盘(从而丢失数据)的概率为p,那么333 组这样的集群,丢失数据

的概率是1-(1-p)^333 ≈ p * 333,而不是p。

2. 互为镜像的麻烦之处是修复速度存在瓶颈。坏一块盘后你需要找一个新盘进行数据对拷,

而一块大容量磁盘数据对拷的典型时间是15 小时(我们后面将给出15 小时同时坏3 块盘的概率)。要想提升这个修复速度,第一步我们就需要打破镜像带来的束缚。

如果一个存储系统的修复时间是恒定的,那么这个存储集群在规模扩大的时候,必然伴随着可靠性的降低。所以最理想的情况是集群越大,修复速度越快。这样才能抵消因集群增大导致坏盘概率增加带来负面影响。计算表明,如果我们修复速度和集群规模成正比(线性关系),那么集群随着规模增大,可靠性会越来越高。

下表列出了1000块硬盘的存储集群在不同存储方案、不同修复时间下的可靠性计算结果:

闪速存储器

闪速存储器[浏览次数:271次] 闪速存储器(Flash Memory)是一类非易失性存储器NVM(Non-Volatile Memory)即使 在供电电源关闭后仍能保持片内信息;而诸如DRAM、SRAM这类易失性存储器,当供电电源关闭时片内信息随即丢失.相对传统的EEPROM芯片,这种芯片可以用电气的方法快速地擦写.由于快擦写存储器不需要存储电容器,故其集成度更高,制造成本低于DRAM. 它使用方便,既具有SRAM读写的灵活性和较快的访问速度,又具有ROM在断电后可不丢失信息的特点,所以快擦写存储器技术发展最迅速。 目录 ?闪速存储器的概要 ?闪速存储器的分类及特征 ?闪速存储器指令 ?闪速存储器在图像采集系统中的应用 ?闪速存储器的研究与进展 闪速存储器的概要 ?闪速存储器的基本存储器单元结构如图1所示。一眼看上去就是n沟道的MOSFET那样的东西,但又与普通的FET不同,特点是在栅极(控制栅)与漏极/源极之间存在浮置栅,闪速存储器利用该浮置栅存储记忆。 图1 闪速存储器的单元结构 浮置栅被设计成可以存储电荷的构造,栅极及主板利用氧化膜进行了绝缘处理,一次积累的电荷可以长时间(10年以上)保持。当然,如果氧化膜存在缺陷,或者由于某种原因使绝缘膜遭到破坏,那么闪速存储器将失去记忆。同时,因为热 能必定致使电荷以某概率发生消减,因此数据保存的时间将受到温度的影响。 下面,我们将进一步讨论闪速存储器的擦除与写人的原理。

我们知道,数据的写人与擦除是通过主板与控制栅之间电荷的注人与释放来进行的。例如,一般的NOR闪速存储器在写人时提高控制栅的电压,向浮置栅注人 电荷(图2)。而数据的擦除可以通过两种方法进行。一种方法是通过给源极加上 +12V左右的高电压,释放浮置栅中的电荷(Smart Voltage Regulator);另 一种方法是通过给控制栅加上负电压(-10V左右),挤出浮置栅中的电荷(负极 门擦除法)。各种电压提供方式如图3所示。 图2 闪速存储器的写入操作 图3 闪速存储器的擦除操作 图4图示了闪速存储器单元的电压-电流特性。浮置栅的电荷可抵消提供给控制栅的电压。也就是说,如果浮置栅中积累了电荷,则阈值电压(Vth)增高。与 浮置栅中没有电荷时的情况相比,如果不给控制栅提供高电压,则漏极-源极间不会处于导通的状态。因此,这是判断浮栅中是否积累了电荷,也就是判断是“1”还是“0”的机制。 图4 闪速存储器单元的电压一电流特性变化 那么,写入操作是提高了Vth还是降低了Vth呢?根据闪速存储器的类型情况也有所不同。作为传统EPROM的一般替代晶的NOR以及硅盘中应用的NAND 闪速存储器,在写入时为高Vth;而AND及DINOR闪速存储器中,在写人时为低Vth。 闪速存储器的分类及特征 闪速存储器根据单元的连接方式,如表所示,可分成NAND、NOR、DINOR(Divided bit Line NOR)及AND几类。NAND闪速存储器单元的连接 方式如图1所示,NOR闪速存储器如图2所示,DINOR闪速存储器如图3所示,AND闪速存储器单元的结构如图4所示。市场上销售的闪速存储器基本上就是NOR 及NAND两种,其中只有NAND闪速存储器的单元是串联的,其他所有类型的单 元都是并联的。 表闪速存储器的单元方式

数据采集存储与传输

数据采集、存储和传输 压缩机转速为8k转/分时,频率133.33 f≈Hz,若要分析到信号频率的4倍频时,有经验公式得采样频率: 2.54133.33 1.33 f≥??≈kHz。所要采集的振动 s 信号是,x y轴两个方向的信号,故要使用采集卡的两个通道进行数据采集,所以,采样频率 f应大于2.66kHz。所以,采集卡的最高采样速率达到3kHz即可满足 s 转速为8k转/分的压缩机的振动信号采集。 中断采集: 在LabView中软件触发方式比较简单,但采样速度较低,在采集振动信号时不能满足实际要求。而采用中断触发方式可以实现数据的高速采集,最高采样速率可达100kHz。 以下是LabView下采用中断触发方式实现数据高速采集时用到的几个关键子VI的简单介绍: DeviceOpen:打开指定的设备并返回一个驱动句柄,之后所有执行相应I/O 操作的子VI 都应基于该句柄参数所获得的配置数据。该子VI 必须在调用其他驱动子VI 之前调用。 AllocDSPBuf:为用户缓冲区分配参数Count 指定大小的空间。该子VI 的输出用作FAITransfer 子VI的输入,通过MemoryType 参数可以选择以电压形式或二进制形式显示数据。程序运行结束后,LabVIEW自动释放此内存空间。EnableEvent:通过指定相应的事件类型代码来使用或禁用一个指定的事件,并通知由DriverHandle所指定的硬件设备。 MultiChannelINTSetup:开始多通道中断触发方式的A/D转换,并将采集到的数据储存到内部缓冲区,该操作将一直进行,直到调用FAIStop子VI。该子VI 运行时将自动调用AllocINTBuf子VI,分配FAIINTStart.Count参数所指定大小的内部缓冲区。与用户缓冲区不同的是,在程序结尾需另外调用子VI释放此内存空间。通过该子VI可以设置采样率、各通道增益代码、循环方式、是否使用FIFO缓存器等。 WaitFastAIOEvent:使程序进入等待状态,直到设定的事件发生(内部缓冲区半满或全满,等待结束,内部缓冲区全满)或等待时间超出用户通过Timeout参数设定的值。该子VI可以用来捕获内部缓冲区半满或全满事件。BufferChangeHandler:将数据从内部缓冲区传送到用户缓冲区。该子VI能够判断内部缓冲区当前的状态是半满还是全满,从而执行不同的操作:半满时,从内部缓冲区取出1/2Count数量的数据到用户缓冲区;全满时,不做任何传输操作。要实现连续数据采集,程序中需要反复调用该子VI。此外,如果在AllocDSPBuf中选择的是以电压形式显示数据,该子VI还负责完成从原始数据到电压值的转换。 ClearOverHandler:用来处理FAI采样缓冲区的溢出状态,并清除溢出标志。即当采集数据的数量达到FAIINTStart.Count 的值后归零,重新开始计数。OverRun:显示缓冲区中的数据是否已被及时地传送出去;HalfReady:显示内部

数据采集存储系统实验报告

数据采集存储系统 陈俣兵任加勒蔡露薇 摘要:本系统以C8051F360单片机最小系统为核心,结合FPGA及高速A/D数据采集模块,可靠地实现对一路外部信号进行采集、存储及FFT频谱分析。系统硬件可以分为模拟部分和数字部分。模拟电路主要包括信号调理电路、锁相环模块及A/D模块、D/A模块。调理电路主要调节信号的幅度及直流偏置,以满足A/D对输入信号1~2V的幅度要求。锁相环模块为A/D模块提供时钟信号,以实现对输入信号的整周期采样,防止频谱泄露。数字部分主要由FPGA实现,用于数据的存储、传输等。本系统对锁相环的使用实现了采样频率对输入信号的跟踪,大大增加了输入信号频率变化范围。测试显示本系统谐波分量测量误差小于1%,系统稳定可靠。 关键字:FFT C8051F360 FPGA 锁相环 一、方案选择与论证 1.系统整体方案比较与选择 方案一:采用扫频外差法。将输入信号和扫频本振产生的信号混频,使变频后信号不断移入窄带滤波器,进而逐个选出被测频谱分量。这种方法的优点是扫频范围大,但对硬件电路要求较高,分辨率不高,难以满足题目要求。 方案二:采用单片机来实现。采用单片机系统控制AD转换器将交流电压电流信号存入缓冲区后,由CPU进行频谱分析以及功率计算。此方案可以使控制模块的设计较为简单。但是,频谱分析的计算(如FFT)具有数据量大,乘法运算居多的特点。此弊端只能通过减少采样点数或外扩运算芯片来解决,前者会降低测量精度,而后者会增加外围硬件设计的复杂程度。 方案三:C8051F360单片机结合FPGA及锁相环模块实现。利用锁相环模块对输入信号频率进行跟踪,能够实现对信号每个周期采集相同点的数据,保证了单片机进行频谱分析(FFT运算)时,数据的正确性。利用FPGA设计两个双口RAM,一个用于存储采集的外部信号数据,另一个用于存储单片机进行FFT运算过程中的大量数据。此方案硬件电路十分简单,且能够按需求方便地改变采集的数据量大小,提高运算结果的精度。且FPGA的高精度晶振能保证AD均匀采样,为计算精度提供保障。 综上所述,本设计选用方案三。系统原理框图见图1-1; C8051F360单片机Cyclone II FPGA 高速ADC信号调理 LCD模块 键盘模块 模拟 信号 锁相环 模块 时钟信号 高速DAC信号调理信号 回放图1-1-1 系统原理框图

闪速存贮器FLASH技术分类剖析

闪速存贮器FLASH技术分类 全球闪速存储器的技术主要掌握在AMD、ATMEL、Fujistu、Hitachi、Hyundai、Intel、Micron、Mitsubishi、Samsung、SST、SHARP、TOSHIBA,由于各自技术架构的不同,分为几大阵营。 1.NOR技术 NOR技术(亦称为Linear技术)闪速存储器是最早出现的Flash Memory,目前仍是多数供应商支持的技术架构。它源于传统的EPROM器件,与其它Flash Memory技术相比,具有可靠性高、随机读取速度快的优势,在擦除和编程操作较少而直接执行代码的场合,尤其是纯代码存储的应用中广泛使用,如PC的BIOS固件、移动电话、硬盘驱动器的控制存储器等。 NOR技术Flash Memory具有以下特点:(1) 程序和数据可存放在同一芯片上,拥有独立的数据总线和地址总线,能快速随机读取,允许系统直接从Flash中读取代码执行,而无需先将代码下载至RAM中再执行;(2)可以单字节或单字编程,但不能单字节擦除,必须以块为单位或对整片执行擦除操作,在对存储器进行重新编程之前需要对块或整片进行预编程和擦除操作。由于NOR技术Flash Memory的擦除和编程速度较慢,而块尺寸又较大,因此擦除和编程操作所花费的时间很长,在纯数据存储和文件存储的应用中,NOR技术显得力不从心。不过,仍有支持者在以写入为主的应用,如CompactFlash卡中继续看好这种技术。 Intel公司的StrataFlash家族中的最新成员——28F128J3,是迄今为止采用NOR技术生产的存储容量最大的闪速存储器件,达到128Mb(位),对于要求程序和数据存储在同一芯片中的主流应用是一种较理想的选择。该芯片采用0.25μm制造工艺,同时采用了支持高存储容量和低成本的MLC技术。所谓MLC技术(多级单元技术)是指通过向多晶硅浮栅极充电至不同的电平来对应不同的阈电压,代表不同的数据,在每个存储单元中设有4个阈电压(00/01/10/11),因此可以存储2b信息;而传统技术中,每个存储单元只有2个阈电压(0/1),只能存储1b信息。在相同的空间中提供双倍的存储容量,是以降低写性能为代价的。Intel通过采用称为VFM(虚拟小块文件管理器)的软件方法将大存储块视为小扇区来管理和操作,在一定程度上改善了写性能,使之也能应用于数据存储中。 DINOR DINOR(Divided bit-line NOR)技术是Mitsubishi与Hitachi公司发展的专利技术,从一定程度上改善了NOR技术在写性能上的不足。DINOR技术Flash Memory和NOR技术一样具有快速随机读取的功能,按字节随机编程的速度略低于NOR,而块擦除速度快于NOR。这是因为NOR技术Flash Memory编程时,存储单元内部电荷向晶体管阵列的浮栅极移动,电荷聚集,从而使电位从1变为0;擦除时,将浮栅极上聚集的电荷移开,使电位从0变为

企业网络存储项目技术方案

企业网络存储项目技术方案 需求分析和设计目标 2.1 系统现状 企业核心业务的开展依赖于大量的数据处理和信息交流,对数据的实时性和准确性要求很高。更要求企业在对外积极拓展业务领域的同时,加强内部的监察和自控工作。企业负责多地区的业务工作,涉及面广,社会影响力大,经济总量大,因此,数据安全及其重要。 公司的基本环境: 两台IBM X255 8685-41X服务器做双机,操作系统是Win2000,数据库是 Sybase; IBM X345 8670-61X(Win2000)服务器用于存储备份系统的备份服务器;另外3台IBM X345 8670-61X服务器是公司的其他数据业务服务器; 系统运行的网络环境是千兆网;

2.2 系统总体架构要求 根据设计,按照设备集中、集约管理、满足应用、方便扩展、安全稳定的要求,今后数据中心形式的信息化存储系统建设的发展方向是按照先进计算机应用模式建立多层体系结构(N-Tier)的数据中心。

数据中心的逻辑结多层体系结构核心应用层组件包括客户层、应用/WEB 服务器层和数据库服务器层和存储备份层。 客户层:客户层是消耗应用数据的层。通常指Web 浏览器。 但多层结构 (N-Tier)图11-1数据中心逻辑图也能支持诸如手机、掌上电脑等 其它非浏览器。 应用/WEB 服务器层:应用/WEB 服务器层由应用服务器器和Web 服务器 组成。应用服务器层提供应用的业务逻辑处理。应用逻辑服务器检索并 处理来自数据库、生产业务系统等应用的数据,然后向Web 服务器返回 格式化的结果。通过采用中间件技术(Websphere、WebLogic、MQ)可实现 应用逻辑服务器的高可用性及可伸缩性。 数据库服务器层:数据库服务器层是一个中心存储库,是业务应用系

数据库与存储架构

数据库与存储架构 前言 决定应该赋予数据库什么样的存储和配置,已经成为一项杂乱无章的工作,这种现象我见得多了。数据库工程师一般都是数据库的专家,而对于存储配置的低层细节几乎一无所知。另外存储管理员和工程师也往往不知道数据库如何利用下层的存储,以及数据库、索引文件、记录文件,当然还有文件系统和卷管理器的需求和最佳配置又是什么。 这往往造成了存储资源利用率低,增加了整体成本,导致性能降低甚至可能无法满足你的需求,此外预算也总是很紧张,而管理上又要求有效地利用可获得的预算。本文将解决数据库管理员和存储工程师在解决架构问题而进行协作时的一些问题。 数据库与存储架构配置 组件 大部分数据库的端到端存储架构所需硬件和软件如下: 数据库 * 控制文件(Control file) * 表空间(Table space) * 索引文件(Index file) * 重做日志(亦称在线日志,Redo log) 操作系统 文件系统和卷管理器(如果数据库运行在裸设备上,这一项可能没有关系)、主机总线适配器(HBA)、存储硬件。 以上每一部分都拥有多个组件,具有多种特性和功能,对整体性能影响显著。 数据库 数据库应用本身具有多重特性和功能,必须加以考虑。Oracle的组件如下: 控制文件――记录数据库的物理结构,用于激活数据库 表空间――来自数据库各行各列的实际数据 索引文件/空间――Oracle中并不需要索引,不过大型数据库总会用到索引,因为在数据库中进行查找时,索引可以大幅提升查找速度 重做日志――被激活的数据库请求,允许你在数据库崩溃后进行重建并重新启动(这些日志本质上类似于文件系统日志) 因为上述组件都有不同类型的访问模式,所以每种文件类型均被存储在不同的文件系统中,并有调节选项。其它数据库也拥有相似的文件类型,需要以相似的方式考虑。 控制文件 大部分数据库都建议使用多个控制文件以确保可靠性。控制文件并不需要常写常读,不过你必须确定各文件被放置在不同的RAID集上,适用于不同的RAID控制器。 表空间 表空间一般是数据库中量最大的数据。当读取列上的大表时,表空间可以由更大的I/O请求访问。根据大小和更新频率的不同,表空间常常位于更大的数据条带化RAID-5上,以便获得较RAID-1更高的密度和提升的性能。 索引文件/空间 在许多数据库中,索引文件是被访问频率最高的数据。查找索引文件有可能需要很大的IOPS(每秒I/O操作)。另外,有时候数据库被重新索引,这在计算上非常密集,并且需要大量的I/O带宽。因为数据库和所需的查找类型不同,索引空间也许会很大,一般来说,根据传统的UNIX文件尺寸,索引

基于FPGA的水声信号采集与存储系统设计

基于FPGA的水声信号采集与存储系统设计 摘要:为实现对水声信号的多通道同步采集并存储,提出了一种基于FPGA的多通道信号同步采集、高速大容量实时存储的系统设计方案,并完成系统的软硬件设计。该系统的硬件部分采用模块化设计,通过FPGA丰富的外围接口实现模块间的数据交互,软件部分采用Verilog HDL硬件描述语言进行编程,能够灵活的实现信号的采集及存储。实际应用表明,该设计具有功耗低,可高速实时存储,存储容量大,通用性强,易于扩展升级等特点。 水声信号采集存储系统是海洋环境调查仪器的重要组成部分。开展水声环境调查所使用的海洋仪器要求设备通道多、同步性好、采样率高、数据存储容量大。市场上常见的数据采集器多是采集某些固定种类的信号,动态范围比较小,通道数一般也比较少,有些还要求与主机进行接口等,这些都限制了其在水声信号采集中的应用。为满足需要,本文设计了适合于水声数据采集存储的较为通用的系统,系统单板具有8个采集通道,多个单板级联可实现多通道同步采集、USB高速存储。 1 总体设计 该系统总体结构如图1所示,上级电路通过级联接口发送采集指令,单片机初始化控制FPGA,控制FPGA首先判断单板是否为级联单板,再初始化相应的FPGA。采集模块的FPGA 向需要同步采集的通道对应的A/D芯片提供统一的时钟,使得A/D同步的选择相应的通道进行数据的同步采样和转换,其结果传给负责缓存的FPGA,缓存在DDR对应的存储空间,然后由ARM控制存储模块的FPGA从DDR空间读取数据进行本地存储。 2 系统硬件设计 系统硬件主要由控制模块、数据采集模块、缓存模块、存储模块几部分组成,系统硬件结构图如图2所示。单片机功耗低、接口丰富、可靠性高,被系统用做上电引导芯片;FPGA 器件具有集成度高、内部资源丰富、特别适合处理多路并行数据等明显优于普通微处理器的特点,所以系统采用XILINX公司不同型号的FPGA作为不同模块的主控芯片。针对系统设计中对采集存储实时性和同步性的要求,存储模块采用FPGA与ARM相结合的设计,采集主控制逻辑用ARM实现,FPGA负责数据的高速传输和存储。

基于列存储的数据库存储系统研究

基于列存储的数据库存储系统研究 基于列存储的数据库,相对于传统的基于行的数据库,更适合在数据仓库存储方面发挥特长1简介 在项目中,将研究一个客户(常规)文件系统设计,以提高基于列存储数据库的查询性能。该基于列存储数据库除了在磁盘上存储数据方式不同外,类似于典型的关系型数据库(基于行存储的数据库,如MySQL或Postgres)。不同之处如图1所示:在一个基于行存储的数据库中,每一行的属性按顺序存储,并在每一行被存储在一个连续的文件中。而在一个基于列存储的数据库中,每个属性列存储在一个单独的文件。 这个文件的配置有一个优势,主要是适合只读数据库(数据仓库)。首先,任何查询涉及到的数据库属性的子集回归,只需要较少的磁盘带宽,因为只加载所需的属性。随着装载属性增多,查询次数也就增加。其次,每个列存储一个单一类型使文件比传统的数据库可压缩(整数,八进制,字节,等等)性更高。压缩减少了磁盘上的数据读取量,可以进一步提高性能。第三,CPU只处理为所需属性的数据列,只需要在内存中缓存,节省内存资源,提高CPU的性能。 基于行存储的数据库 Source IP Dest IP Source Port Dest Port 基于列存储的数据库 图1:基于行存储数据库和基于列存储数据库文件系统布局 面向列存储的缺点之一是:一个表中包含多个files。推测由于基于列存储可以降低磁盘带宽要求,因此基于列存储的数据库可以提高查询性能。但是它将增加磁盘查找时间,因为查询期间在一个磁盘上要定位更多的files。因此希望文件系统可以定制,这样可以使基于列存储数据库的file寻求时间最小化,这样提高查询性能。

(电力行业)大型电力企业数据中心解决方案

大型电力企业存储与备份系统 综合解决方案

1.建立综合存储与备份系统的重要性 随着发电企业的各IT子系统(如SIS系统、生产管理系统、OA 等)的逐步建设与完善,各种子系统内的数据也越来越多,但它们基本上是保存在各单位的相应子系统内,这些数据既没有实现纵向的大集中,也很少实现横向的联合;这并不是说数据没必要集中,而是很多单位还没有意识到数据集中的重要性,所以,在刚开始时,对全厂的数据存储与备份,就要做好高性价比的科学规划。 企业为指导和监督企业的生产与经营,保证本单位的生产经营活动的高效运行,就有必要对各部门、各系统的数据,进行数据集中备份,一方面方便对企业数据的管理和监督,同时也便于综合分析各种数据,成为辅助分析和决策的重要信息来源,科学指导生产与经营活动,提高本单位的经济效益;还有,各种天灾和突发性事件偶有发生,为保证各系统的重要数据不丢失,也要求对本单位的各种重要数据进行存储和备份,形成各单位的灾备中心。

2.UISS的数据存储与备份系统的解决方案 UISS作为存储与备份的专业厂商,根据发电企业的特点和需求,有针对性为大型发电企业,提供扩展灵活,安全可靠,性价比高的存储与备份系统的解决方案。 基于IP的网络环境,为发电企业实现IP SAN的存储,实现D TO D TO T的多级备份,可实现LAN FREE和SERVER FREE的多点同步备份,还可扩展为本地冗灾系统或远程冗灾系统。 整个系统的网络拓扑图如下: iSCSI设备 SIS Server iSCSI设备 Ethernet Switch MIS Server 备份盘阵 (可线性扩充) 一体化备份服务器 OA Server 存储盘阵 SCSI/SATA

数据库系统原理(含答案)资料讲解

数据库系统原理(含答 案)

数据库系统原理自测题(2) 一、单项选择题 1.数据库物理存储方式的描述称为【B】A.外模式B.内模式 C.概念模式 D.逻辑模式 2.在下面给出的内容中,不属于DBA职责的是【A】 A.定义概念模式B.修改模式结构 C.编写应用程序 D.编写完整行规则 3.用户涉及的逻辑结构用描述【C】A.模式B.存储模式 C.概念模型D.逻辑模式 4.数据库在磁盘上的基本组织形式是 【B】 A.DB B.文件 C.二维表 D.系统目录 5.在DBS中,最接近于物理存储设备一级的结构,称为 【D】 A.外模式B.概念模式C.用户模式 D.内模式 6.从模块结构考察,DBMS由两大部分组成: 【B】A.查询处理器和文件管理器B.查询处理器和存储管理器 C.数据库编译器和存储管理器D.数据库编译器和缓冲区管理器

7.设W=R?S,且W、R、S的属性个数分别为w、r和s,那么三者 之间应满足【A】 A.w≤r+s B.w<r+s C.w≥r+s D.w>r+s 8.数据库系统的体系结构是数据库系统的总体框架,一般来说数据库系统应具有三级模式体系结构,它们是【A】 A.外模式、逻辑模式和内模式B.内模式、用户模式和外模式 C.内模式、子模式和概念模式D.子模式、模式和概念模式 9.ER图是表示概念模型的有效工具之一,在ER图中的菱形框表示【A】 A.联系B.实体 C.实体的属性D.联系的属性 10.数据库管理系统中数据操纵语言DML所事项的操作一般包括【A】A.查询、插入、修改、删除B.排序、授权、删除 C.建立、插入、修改、排序D.建立、授权、修改 11.设有关系R(A,B,C)和关系S(B,C,D),那么与R?S等价的关系代数表达式是【C】A.π1,2,3,4(σ2=1∧3=2(R×S))B.π1,2,3,6(σ2=1∧ (R×S)) 3=2 C.π1,2,3,6(σ2=4∧3=5(R×S))D.π1,2,3,4(σ2=4∧3=5(R×S))12.在关系模式R中,函数依赖X→Y的语义是 【B】 A.在R的某一关系中,若两个元组的X值相等,则Y值也相等B.在R的每一关系中,若两个元组的X值相等,则Y值也相等 C.在R的某一关系中,Y值应与X值相等 D.在R的每一关系中,Y值应与X值相等

视频监控系统存储与视频采集

存储在视频监控领域的发展与视频监控本身的发展有着密切的联系。视频监控经历了模拟、数字、网络三个阶段,存储在视频监控领域的应用也经历了模拟、 数字、网络这三个阶段。 视频采集与监控存储 视频监控系统一般具有监控点多、摄像头数量多、监控时间长等特点,因此它采用的存储设备在数据读写方式上具有与其它类型系统不同的特点: 1)数字视频编码器或视频服务器以流媒体方式将数据写入存储设备,实时将监控点回传的图像和画面以流媒体方式保存在存储设备中,回放工作站以流媒体方式来读取已存储的视频文件。这种读写方式与普通数据库系统或文件服务器系统中存储采用的小数据块或文件级读写方式完全不同,因此视频监控系统存储在技术参数要求方面与其它应用系统有较大的区别。 2)大型的视频监控系统中往往有2000~3000个甚至更多的监控摄像头,所有摄像头累加起来总共需要500Mb/s~750Mb/s的带宽。 视频采集过程中,视频文件格式一般都不会发生变化,且码率保持恒定,视频图像的帧率一般都在15帧/S~25帧/S,也就是说,在存储的读写操作中,必须保证每 1/25秒内都能够达到500Mb/s~ 750Mb/s的带宽,否则图像采集或回放就会出现丢帧现象,除非存储设备本身配置一个大容量的缓存。因此视频监控系统存储不仅要求带宽大,还要求带宽恒定。 3)数据读写操作的持续时间长。由于摄像头一般都是7×24小时工作的,即使流媒体文件采用分段保存方式,写入操作的持续时间也有 可能长达2~6个小时,后期回放时也需要相同的时间。因此要求存储具有超强的长时间工作能力,保持长时间的稳定性。

4)视频监控系统一般具有摄像头数量多、视频图像存储时间长等特点,因此存储容量需求巨大,且随着图像存储时间的增加,存储容量需求呈线性、爆炸性增长。因此视频监控系统存储必须支持大容量,且容量具有高扩展性,满足长时间大容量视频图像存储的需求。 5)数字视频编码器一般对外提供标准的IP接口或iSCSI接口,通过在ADSL、城域网或专用网络上传输TCP/IP协议包或iSCSI协议包来向后方监控中心回传数据。如果存储设备具有与数字视频编码器相同的接口,编码器就有可能直接将数据写入存储,从而大大减少监控系统的数据传输环节,提高数据存储的效率。 从视频监控逐步走向网络化的发展趋势来看,网络化存储将在今后的视频监控系统中扮演越来越重要的角色。网络视频监控系统从两个方面对存储提出了网络化的要求:一是部署和访问上的网络化,考虑到流量和存储空间的合理分配,存储设备在整个系统中的部署位置将趋于分布化和前端化,而从便于用户统一访问的角度,系统中所有存储空间对用户都应该是透明的,用户仅需通过一个接口即可访问所有存储资源;二是存储设备本身的网络化,网络视频监控非常适合大型监控联网应用,为了满足大容量集中存储的需求,存储设备本身要采用先进的网络存储技术以保证空间扩展的灵活性。

企业网络存储方案

企业网络存储方案 一、网络连接式存储(NAS) 现代企事业单位的管理和运作是离不开计算机和局域网的,企业在利用网络进行日常办公管理和运作时,将产生日常办公文件、图纸文件、ERP等企业业务数据资料以及个人的许多文档资料。上述数据一般都存放在员工的电脑和服务器上,没有一个合适的设备作为其备份和存储的应用。由于个人电脑的安全级别很低,员工的安全意识参差不齐,重要资料很容易被窃取、恶意破坏或者由于硬盘故障而丢失。 为合理解决数据业务资料备份和存储的问题,可以使用一台NAS 网络存储服务器来存储和备份业务数据资料以及日常办公数据。在业务主机内,数据库里的信息资料直接通过数据增量备份功能备份到NAS中。连同局域网内部的业务资料以及工作人员的日常办公文件资料或是基于光盘的数据资料,都可以存储到NAS服务器上,以便工作人员随时使用和浏览这些数据资料。使用NAS后,管理员能够有效、合理地安排和管理其内部数据资料,使数据文件从其它网络机器上分离出来,实现数据资料的分散存储,统一管理数据资料环境系统。 二、SAN存储网络 SAN(StorageArea Network 意为存储区域网络)是一个集中式管理的高速存储网络,由存储系统、存储管理软件、应用程序服务器和网络硬件组成。它支持服务器与存储设备之间的直接高速数据传输,是独立于服务器网络系统之外的高速光纤存储网络,这种网络采用高速光纤通道作为传输体,将存储系统网络化,实现真正的高速共享存储。随着Internet和网络技术的飞速发展,现代信息系统的数据呈爆炸式增长,数据的安全性和作业的连续性较之硬件设备本身更加重要,高速数据访问和平滑简单的扩容要求日益迫切。以前的存储技术只是将存储设备作为服务器的一个附属设备,服务器之间的大容量数据交换只能依赖传统的网络,在速度,安全性,跨平台共享,无限扩容等方面都无法适应IT技术发展的要求。SAN技术就是在这种情况下应运而生的。其主要优势如下: 1.基于千兆位的存储带宽,更适合大容量数据高速处理的要求。 2.完善的存储网络管理机制,对所有存储设备,如磁盘阵列,磁带库等进行灵活管理及在线监测。 3.将存储设备与主机的点对点的简单附属关系升华为全局多主机动态共享模式。

文件系统存储数据,与数据库系统存储数据的差别

信息资源组织与管理 期中考试

选题: 文件系统存储数据,与数据库系统存储数据的差别,谈其优略 一、文件系统与数据库系统的概念及其发展 1.文件系统 所谓的文件系统简单地说负责存取和管理文件信息的软件结构。例如电脑的硬盘C、D、E、F盘和可以动的存储设备等。文件系统是操作系统用于明确磁盘或分区上的文件的方法和数据结构,即在磁盘上组织文件的方法。也指用于存储文件的磁盘或分区,或文件系统种类。操作系统中负责管理和存储文件信息的软件机构称为文件管理系统,简称文件系统。 文件系统由三部分组成:与文件管理有关软件、被管理文件以及实施文件管理所需数据结构。从系统角度来看,文件系统是对文件存储器空间进行组织和分配,负责文件存储并对存入的文件进行保护和检索的系统。具体地说,它负责为用户建立文件,存入、读出、修改、转储文件,控制文件的存取,当用户不再使用时撤销文件等。 2.数据库系统 数据库系统是由数据库及数据库管理软件组成的系统,它是为适应数据处理的需要而发展起来的一种较为理想的数据处理的核心机构。它是一个实际可运行的存储、维护和应用系统提供数据的软件系统,是存储介质、处理对象和管理系统的集合体。数据库系统的核心是数据库管理系统。 数据库系统一般由4个部分组成:数据库、硬件、软件、人员。

其中数据库是指长期存储在计算机内的,有组织,可共享的数据的集合。硬件是指构成计算机系统的各种物理设备,包括存储所需的外部设备。软件包括操作系统、数据库管理系统及应用程序。人员包括系统分析员和数据库设计人员、应用程序员、最终用户、数据库管理员。 数据库系统有大小之分,常见的大型数据库系统有SQL Server、Oracle、DB2等;中小型数据库系统有Foxpro、Access等。 3.发展过程 数据库发展阶段大致划分为如下几个阶段:人工管理阶段、文件系统阶段、数据库系统阶段、高级数据库阶段。以下主要介绍一下文件系统管理阶段和数据库管理阶段。 文件系统阶段中操作系统的出现标志着数据管理步入一个新的 时期。在文件系统阶段,数据以文件为单位存储在外存,且由操作系统统一管理。操作系统为用户使用文件提供了友好界面。文件的逻辑结构与物理结构脱钩,程序和数据分离,使数据与程序有了一定的独立性。用户的程序与数据可分别存放在外存储器上,各个应用程序可以共享一组数据,实现了以文件为单位的数据共享。 在数据库系统阶段,人们对数据管理技术提出了更高的要求:希望面向企业或部门,以数据为中心组织数据,减少数据的冗余,提供更高的数据共享能力,同时要求程序和数据具有较高的独立性,当数据的逻辑结构改变时,不涉及数据的物理结构,也不影响应用程序,以降低应用程序研制与维护的费用。数据库技术正是在这样一个应用需求的基础上发展起来的。

企业存储系统采用固态硬盘的四种方式

企业存储系统采用固态硬盘的四种方式 当代企业数据存储系统在设计上可应付机械式硬盘存在的局限性,尤其是减少高延时和机械硬盘可支持的低IOPS数量的影响。而在使用固态硬盘(SSD)时,上述基本事实发生了改变,存储控制器的容量限制变成了制约因素。如果添加太多的固态硬盘,利用SSD取代硬盘驱动器会令存储系统无法容纳。存储控制器才刚刚开始适应固态硬盘的新性能要求,目前客户迫切需要注意存储厂商能够给他们一些固态硬盘的建议和指导。下面介绍4种当前利用固态存储补充存储系统的方式:一、添加SSD硬盘代替硬盘驱动器利用光纤通道、串行ATA(SATA)或串行连接SCSI(SAS)接口添加SSD来取代硬盘驱动器是向已有存储阵列添加SSD支持的最容易的方式。虽然需要经过严格的测试和质检程序,但由于厂商可以利用已经部署的技术,因此这种方式只需要对系统进行很少的改变。SSD与硬盘层之间缺少自动化数据迁移以及存储控制器的性能限制是两个最大的缺点。然而,这种方式为大多数厂商所采用。EMC Corp、Compellent、Fujitsu、Hewlett-Packard (HP) Co、Hitachi Data Systems、IBM、LSI Corp、Pillar Data Systems、Sun Microsystems以及许多较小的存储阵列厂商除了提供硬盘之外,都提供SSD硬盘。其中的大多数厂商采用STEC公司的SSD硬盘作为他们第一代SSD.这主要由于STEC是第一家能够满足企业存储要求的厂商。随着像Seagate Technology这样的硬盘厂商、Pliant Technology和SandForce等前景看好的新兴厂商以及Intel公司将目标瞄准这一企业存储领域,STEC的统治地位将发生改变。二、使用NAND闪存作为存储控制器中的高速缓存NetApp和Sun利用NAND闪存作为高速缓存,克服了SSD和硬盘层之间自动化数据迁移的软件问题,但是这些厂商改变了产品的架构来适应NAND闪存,以消除添加太多的SSD 存储令他们的存储阵列无法容纳的可能性。通过将NAND闪存放在硬盘驱动器的前端而不是取代硬盘,所有的数据和应用都将从SSD中得到好处,而不仅仅是驻留在SSD层中的数据。NetApp 提供性能加速模块(PAM)。该产品可以利用已有的PCI Express插槽添加到任何NetApp文件服务器中。根据控制器的不同,目前最多可以安装5个模块组成容量多达80G的统一的缓存,一年后当更高密度的PAM卡上市时这一容量将达到512GB.与NetApp不同,Sun在其Sun Storage 7000统一存储系统中使用闪存来缓存所有的读写操作――不仅仅是元数据――因此拥有支持闪存的最先进的架构。Sun Storage 7000统一存储系统在一个具有优化的存储栈和支持由DRAM缓存、SSD和机械硬盘组成的混合存储池的Zettabyte文件系统(ZFS)的x86平台上运行Solaris.固态硬盘安装在基于DRAM的自适应替换缓存(ARC)和SATA驱动器之间。ZFS Intent Log (ZIL)被写入到写操作优化的SSD中。ZIL记录写操作日志,使文件系统可以从系统故障中恢复。L2ARC缓存包含读操作优化的SSD,以扩展基于DRAM的ARC缓存来进行读操作;L2ARC规模可以达到数百G字节,其目的是将工作数据保持在内存中来最大限度地减少硬盘存取。据Sun说,混合存储池使Sun Storage 7000统一存储系统可以支持800,000以上的IOPS.三、在服务器上而不是存储控制器中采用NAND闪存虽然Sun Storage 7000统一存储系统是一种独立系统,但它为那些认为闪存属于服务器而非存储控制器的人提供了论据。Fusion-io公司首席技术官David Flynn解释说:"正如L2缓存扩展了CPU中的内存,DRAM扩展了L2缓存一样,闪存用于扩展DRAM." Fusion-io ioDrive 和ioDrive Duo NAND闪存PCI Express卡为服务器提供直接连接存储(DAS)。作为一家也销售存储产品的服务器公司,Sun同意服务器是使用闪存的合适的地方的观点。Sun公司的Cornwell说:"闪存是服务器架构的游戏改变者,下一代服务器将利用闪存扩展DRAM缓存。"四、独立SSD阵列利用与传统破除存储阵列并行运行的基于SSD的存储系统补充硬盘阵列是向存储环境添加固态存储的破坏性最小的方式。独立SSD阵列的领先厂商是Texas Memory Systems 公司。这家公司除了提供基于DRAM和NAND闪存的SSD阵列外,还直接和通过与BlueArc、NetApp以及其他公司的OEM关系销售RamSan产品系列。在缺点方面,独立固态系统不能利

数据库环境存储解决方案

行业背景与需求 随着云计算技术应用的不断推广,将会有越来越多的关键应用,包括数据库,迁移到云平台。一方面,既有应用希望从中获得更大的业务敏捷性和成本节约;另一方面,大量的新型 应用都将基于云计算基础架构建设,而数据库是必不可少的构成部件。 云计算时代的数据库基础架构,不仅要能够满足既有系统和新型系统的基本运行条件,还 要能够在多业务系统整合的平台环境中,让每一个系统的性能和资源需求都得到合理满足, 系统运行稳定、可靠、高效,使得用户敢于并乐于将关键应用向云中迁移,并从中获取竞争 优势,应对业务挑战。 解决方案 1.为多业务系统平台整合提供合理方案。ZettaStor DBS构建了一个统一的存储资源池, 众多数据库系统都可以按需从中获取资源,保证服务质量。 2.超高可靠性。具备超强容错能力,确保在部件故障时业务不停、数据不丢,为数据 库系统的稳定运行提供有力保障。 3.功能强大。可提供快照、克隆、复制、在线迁移等众多企业级数据服务功能,为数 据库系统提供更高的业务灵活性。 4.显著降低总体成本。ZettaStor DBS存储系统基于标准商业化硬件和IP网络构建,相 比传统存储阵列的解决方案,总体成本可降低50%以上。 方案优势 ?高度可扩展,业务整合无压力 可灵活扩展到百万节点,远超传统存储。轻松应对多业务系统整合和爆炸式负载增长等。 ?高性能,业务更流畅 聚合大量服务器和硬盘的IO处理能力,实现高并发、低延迟的数据访问性能。 ?高可用,服务级别可信赖 超强容错能力,有效防范磁盘、服务器,甚至机柜或机房整体故障造成的各类风险,保障 关键业务系统运行。 ?QoS,重点业务有保障 针对业务系统需求限定IOPS及吞吐率,确保关键业务系统能够获得足够资源,平稳高效 运行。 ?故障可自愈,运维更轻松 采用通用硬件及标准协议,无需特殊技能,无需性能调优;故障可智能自愈,避免救火式 运维。 ?全面保护,数据更安全 仅授权主机可访问存储资源,防范安全风险。解决方案框架内即可满足数据备份及归档需求,防范数据丢失及损坏。

64M 闪速存贮器K9K1208UOM 及其应用

64M闪速存贮器K9K1208UOM及其应用 作者:南华大学现代教育技术中心李松来源:《国外电子元器件》 摘要:K9K1208UOM是SAMSUNG2公司生产的大容量非易失性闪速存贮器,本文介绍了K9K1208UOM的性能、结构、工作原理,并重点介绍了该闪速存储器的使用方法。最后给出了K9K1208UOM的各状态寄存器的定义和命令集。 关键词:闪速存贮器页读页编程块擦除 K9K1208UOM 1 引言 非易失性闪速存贮器K9K1208UOM是SAMSUNG公司采用CMOS浮置门技术和与非存贮结构生产的大容量、高可靠存贮器件。该器件所提供的片内控制器、状态寄存器和专用命令集使其可以灵活应用于各种存储系统电路,其8位I/O端口可以方便地实现地址、数据和命令的多路复用,这样不但大规模降低了引脚数,而且便于系统倔后扩充存贮容量而不需改变系统板结构设计。对于诸如固态文件存储,声间和音频信号处理,便携式智能设备等要求大容量非易失存贮的应用场合,K9K1208UOM提供了一种极佳的解决方案。 2 基本性能和引脚功能 2.1 基本特性 K9K1208UOM非易失性闪速存贮器的基本特征如下: ●工作电压:2.7~3.6V; ●结构:存贮单元阵列:(64M+2047k)字节; 数据寄存器:(512+16)×8位; ●可自动编程与擦除; 页编程:(512+16)字节; 块擦除:(16k+512)字节。 ●可进行528字节/页读操作: 随机读:10μs; 连续页读:60ns; ●快写周期时间: 编程时间为200μs(典型值); 块擦除时间为2ms(典型值);

●具有硬件数据保护功能; ●使用寿命达100k次编程/擦除; ●数据可保存10年。 2.2 引脚说明 K9K1208UOM采用48脚TSOP封装,各引脚的功能如下: I/O0~I/O7:数据输入输出端,芯片未选中时为高阻态。 CLE:输入端,命令锁存使能。 ALE:输入端,地址锁存使能。 CE:输入端,芯片选择控制。 RE:输入端,数据输出控制,有效时数据送到I/O总线上。 WE:输入端,写I/O口控制、命令、地址或数据时在上升沿锁存。 SE:输入端,访问备用存贮区控制。 R/B:输出端,指示器件的操作状态。 Vcc:电源端。 Vss:地。 其它引脚为未用引脚。 3 器件结构与工作原理 K9K1208UOM的528M位存贮单元可组成131072行(页)、528列的存贮阵列。64M字节主存贮区按低位列地址(0~255字节)和高位列地址(256~511字节)分成两个半区,16列2048k字节备用存贮区位于列地址的512~527字节。主存贮区每512字节和备用存贮区16字节工528字节组成一页。共有131072页,每32页构成一个块,总共4096个块。一个528字节的数据寄存器在与存贮阵列相连时,可在页读出和页写入过程中用I/O缓冲器和存贮器之间地数据传输。K9K1208UOM的内部结构如图1所示。 K9K1208UOM的地址、数据和命令信号输入都使用8位I/O口,当CE为低时,命令、地址和数据在WE变低时由I/O写入,并在WE的上升沿锁存。通过命令锁存信号CLE和地址锁存信号ALE可使命令和地址实现对I/O口的复用。除了块擦除周期需要两个总线周期(擦除建立和擦除执行)外,其他命令均可在一个总线周期内完成。由于64M字节物理为间需要26根地址线,因此,按字节需要4个地址周期,依次为列地址、行地址低位和行地址高位。页读和页编程在相应命令后需要4个地址周期。然而,块擦除只需要3个列地址周期。可以通过向命令寄存器写入相应的命令来选择器件的工作方式, K9K1208UOM的专用命令如表1所列。 表1 K9K 1208UOM的专用命令功能

企业数据存储备份系统技术规范书资料

皖能合肥发电有限公司企业数据存储备份系统 技术规范书 编写: 审核: 批准: 2016年04月08日

1、总则 随着局域网和互联网络的深入应用,系统内的服务器担负着企业的关键应用,存 储着重要的信息和数据,为领导及决策部门提供综合信息查询的服务,为网络环境下 的大量客户机提供快速高效的信息查询、数据处理和internet等的各项服务。因此,为满足公司安全生产需要,建立可靠的网络数据存储备份系统,保护关键应用的数据 安全是网络建设的重要任务,在发生人为或自然灾难的情况下,保证数据不丢失。 1.1本招标文件适用于皖能合肥发电有限公司新增企业数据存储备份系统,它提出了该设备的功能设计、结构、性能、安装和试验等方面的技术要求。 1.2招标方在本招标文件中提出了最低限度的技术要求,并未规定所有的技术要求和适用的标准,投标方应提供一套满足本招标文件和所列标准要求的高质量产品及其 相应服务。 1.3如对本招标文件有偏差(无论多少),都必须清楚地表示在本招标文件中。否则将认为投标方提供的设备完全符合本招标文件和标准的要求。 1.4投标方应执行本招标文件所列标准。有不一致时,按较高标准执行。 1.5合同签订后2个月,按本规范要求,投标方完成设备的设计﹑试验﹑装配﹑安装﹑调试﹑试运﹑验收﹑试验﹑运行,由招标方确认。 1.6投标方的工作范围: 1.6.1按本规范书和适用的工业标准提供企业数据存储备份系统。包括所必需的硬软件和各项服务。 1.6.2负责整套系统的设计、施工、安装和调试工作。 1.6.3负责培训招标方的运行和维护工程技术人员,使其能得心应手的操作维护、修改和调试该系统。 1.6.4负责系统设备、材料的供货。

相关主题