我们公司主要从事邮件系统方面的业务，所以，这是一个关于邮件系统存储方面的一个问题。

邮件系统数据的特点就是小文件多，并且目录多，一部分数据访问频繁，读写删除操作也频繁（活跃用户的数据），还有一部分数据基本不访问（非活跃用户），很少有读写删除操作。

当一个有40万用户的邮件系统，那么存放邮件数据的存储目录下面会有非常多的目录和文件（一个用户一个HomeDir，用户HomeDir下面存放用户的邮件），HomeDir至少40万个，每个HomeDir下面可能有用户的自定义文件夹。HomeDir下面存放的用户邮件数量多少不等，最多的可能有800封以上的邮件，平均每人30封邮件左右。大部分邮件大小在5-100K左右，也存在一部分带有较大附件的邮件，大小在1M-10M之间。

以上是应用特点的简单介绍，针对这样的应用环境，应该如何选择存储设备？做什么样的RAID能达到最好的性能？如何部署备份系统？

像类似这样的应用应该还有很多，例如：flickr、bababian等等这样的网络相册应用，应该和邮件应用类似，都是小文件，访问频繁。也很想了解他们是如何选择和部署存储系统的。

目前，我们的存储在使用一段时间后，只能使用df命令来查看磁盘空间，使用du命令查看存储目录占用空间的时候将会用掉非常非常长的时间，这个时间是绝对不能忍受的长。

使用备份方法是每天用rsync，将发生变化的文件同步到另外一个存储空间上，我认为这不是一个较为理想的备份方式，希望能再进行改进。

在RAID方面，我们基本上选择的都是用RAID5，也有使用RAID10，但是感觉这两者在性能上没有什么明显区别。不知您是否有测试存储性能方法及测试模型，我也想对我们系统中这种环境下的存储进行测试和分析，希望能找到最佳的方案。

sansky答：

你所说的几个系统具有频繁访问、随机访问、文件数量大等特点，对服务器和存储的第一个要求是高IOPS。我个人对存储系统的建议如下：

1、存储设备的的cache IOPS最好不低于12W，磁盘IOPS不低于7w，也就是说必须是中端以上存储设备，低端设备的性能不足以满足系统要求；

2、建议采用全光纤存储设备；由于总容量不大，可以选择146GB磁盘。如果考虑到价格，也可以选择高性能的FC-SAS存储。

3、磁盘访问的性能将会是整个系统的瓶颈。建议存储设备的磁盘端口不少于4个，配置不少于3个JBOD,SBOD最好。磁盘总数量48块磁盘最好，建议少于32块。否则磁盘太少，存储设备的性能发挥不出来。

4、每个RAID组中的磁盘数量8-12个，优选RAID5。

5、40个homedir最好分散在4个以上的RAID组中，也就是不同的LUN中。无论是windows还是linux系统，当一个lun中的文件数量过大时，其文件系统检索和访问能力多会大幅度减小。homedir分散在多个lun中，减少每一个文件系统中的文件数量。

6、多个RAID组的优先级高于每个RAID组中的磁盘数量。

7、对于备份来讲，如果考虑价格，可以选择用备份软件。如果投资允许，可以考虑CDP软件。

一点拙见，仅供参考。

应用存储是一种可以内嵌了某种应用软件功能的新型存储设备，它不仅具有数据存储功能，还具有服务器的部分应用功能，可以看作是服务器和存储设备的集合体，这种存储设备就称为应用存储。

随着芯片技术的快速发展，存储设备所采用的CPU或专用芯片的运算能力及处理速度成倍提高。在许多类型系统中，存储设备不仅能满足系统的数据存储和访问功能，还的往往有较大的性能冗余。同时，随着存储设备的整体价格却在不断降低。用户在设备选型及购买时，一般会选择稍高一级别的存储设备。为了有效地利用存储设备的富余资源，在存储设备控制器部分中内嵌了特殊功能的应用软件，使得存储设备不仅为系统提供数据存储服务器，还能提供一定的软件应用服务器。

应用存储的软件功能

应用存储真正有别于普通存储的特点在于可以运行特殊的软件应用功能。软件应用功能是指为了更有效地利用高性能存储设备控制器的剩余处理能力，发挥存储设备专用控制器比较普通PC服务器更高效、更稳定的特点，在应用存储的控制器中内部有嵌了各种不同类型的软件和服务器，使存储设备发挥更大的作用。

网络管理功能：

应用存储中可以内置了大量常用的以太网络管理服务，如域管理服务、DHCP服务、DNS服务等。存储网络系统不需要再配置专门的域管理服务器，仅通过应用存储就可以实现存储网络系统的域管理、DHCP服务和DNS服务等功能。

媒体资产管理功能：

应用存储设备中内置了一套强大的音像资源管理系统，也可以称为媒体资料管理系统，该软件系统中可对本存储设备内部的视音频文件、图片等多媒体资料进行录入、管理、检索查询、播放和下载，并可按实际工作中的需求定制分类标准和媒体资源的编目体系，对本存储设备内部的多媒体资源进行编目和分类，方便后期的检索和查寻。媒体资产管理功能对于一些珍贵多媒体资源的长期保存和再利用具有重要意义。

视频转码：

应用存储设备中可以内置了符合视频转码标准的专用视音频转码软件，按预先定制好的转码标准和操作执行时间，在存储设备资源占用较少的时候来执行转码操作。由于视频转码软件只是对本存储设备内部的文件进行处理，数据不会流经存储的主机接口、网络交换机和服务器，因此不会点用存储设备的总带宽、也不会占用共有的网络资料。且由于存储控制器内部采用的是专用的高性能处理器，视频转码的效率也会大幅度提高。

视频点播功能：

应用存储内置了一个视频点播软件，用户可能通过该软件对存储设备中的视音频文件进行播放，并可以实现暂停、快进和回放都功能。

存储共享管理功能：

在一些特殊的应用环境中，如广电行业的非线性编辑制作网络系统、高性能计算系统、IP-SAN网络启动系统，无盘工作站系统中，由于应用软件系统要求多台服务器需要对同一个卷中的数据进行读写操作，就需要存储设备上的文件系统实现在多台服务器之间进行共享，那么存储网络中的所有服务器和工作站就需要安装存储共享管理软件，并配置专门的MDC服务器来对共享的文件系统进行管理。

UIT应用存储设备

UIT BX1200/1600系列存储设备是UIT针对不同行业系统应用所开发的、高性能的应用存储设备（详细技术参数见UIT官方网站）。其最大的优点就是在提供高效的数据存储和数据访问功能的基础上，还提供软件嵌入功能。

在应用存储技术的研究和使用方面，UIT不仅比起步早，同时也远远地走在了前面。UIT BX1200/1600系列应用存储设备中不仅可以简单地嵌入特殊功能的应用软件，实现一定的应用功能，还可以和应用软件密切配合，使应用软件功能和存储设备成为一个完整的系统，比如UIT目前正在大力推广的超级保险箱系统、S3超级监控存储系统和云存储系统。

超级保险箱

超级保险箱一个由UIT Webdisk存储空间管理软件嵌入UIT BX1200/1600存储系统而构成的、集软硬件产品为一体化应用存储设备，可为企业单位内部的服务器工作站提供便捷的网络存储空间、数据授权共享与文件自动备份服务，也可以为大型IDC提供空间租赁服务。

超级保险箱具有高带宽、高稳定性、高扩展性等特点，单套系统可提供64TB存储容量，满足多用户频繁访问需求。多套系统可实现性能的线性增加，充分满足多用户的上传下载与备份需求。

超级保险箱集UIT BX1200/1600应用存储系统与webdisk软件为一体，不仅部署非常简单，还可以节约采用普通存储设备时所必须的服务器，从而大幅度节约系统建设成本。

S3超级监控存储系统

UIT结合现在监控市场的应用需求，推出了应用存储设备嵌入平台软件的一体化解决方案，实现了集存储、录像、转发、浏览、下载、回放、联网等功能于一体的网络视频监控存储系统。其特有的分布式联网设计理念，使从楼宇监控到”平安城市”等涉及网络化监控系统的场所均可以采用这种分布式联网监控存储系统

UIT监控存储产品是以UIT BX1200/1600为基础，嵌入PVG监控平台软件，形成可独立构建系统、可多台联网的分布式联网监控存储产品。UIT监控存储产品集平台软件和磁盘阵列为一体，支持图像的并发存储和并发点播，通过网络接收编码器或者IP camera的码流，直接存储至高可靠性的后端存储，并支持多人同时对历史图像文件进行检索和点播回放。

云存储系统

云存储系统是UIT在2008年所极力倡导和推广的一个新型的存储系统。与普通的存储设备相比，云存储不仅仅是一个硬件设备，而是一个由网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。

云存储以应用存储设备为基础，以UIT UFS集群管理软件为核心，通过UFS集群文件系统实现存储设备的集群工作，并通过系统的控制单元和管理单元实现整个系统的管理，数据的分发、处理，处理结构的反馈。并依据CDN内容分发系统、P2P数据传输技术和数据压缩技术等可以保证云存储中的数据可以更有效地存储，使用和占用更少的空间，占用更低的传输带宽，从而对外提供更高效的服务。数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。

应用存储的优势特点

应用存储是指当存储设备本身所能提供的性能远超过系统需求时，借用存储设备的高可性和稳定性，在存储上运行一定的应用软件服务。与普通存储设备相对，应用存储除了增加了许多软件应用及服务功能，也将改变很多应用系统的架构设计。

高可用性

应用存储设备一般都基于模块化、冗余的、支持热插拔的原则而设计的，消除了内部的单点故障，其它安全性和稳定性远超于系统中采用的普通PC服务器，应用软件和服务器内在存储内部，能够为系统提供更高的稳定性和系统安全性。

高效性

应用存储设备的核心，即控制器，一般都采用专门设计的总线结构、专门的处理芯片和缓存，在数据校验和数据传输方面做了优化。长时间运行情况下，应用存储不仅能保证软件和服务器功的安全和稳定，还能保证具有比普通PC服务器具有更高的运行和计算效率，可为系统提供更高的服务质量。

系统架构简单，节约建设成本

由于应用存储中可以内置许多软件应用和服务功能，在系统结构设计时，就可以节省大量的PC服务器，和与之相连接的网络连接设备、网络接口卡，极大地简化了系统中结构。系统结构的简单化有利用优化系统的工作流程，提高系统的运行效率。同时由于减少系统所需的设备类型及数量，也可以大大减小系统的建设成本。

图1

不同类型的云存储运营商对外提供的服务不同。 根据云存储提供的服务类型和面向的用户不同，云存储服务可以分为个人级应用和企业级应用。

一、个人级云存储应用

1、 网络磁盘

相信很多人都使用过腾讯、MSN等很多大型网站所推出”网络磁盘”服务。网络磁盘是个在线存储服务，使用者可通过WEB访问方式来上传和下载文件，实现个人重要数据的存储和络化备份。高级的网络磁盘可以提供web页面和客户端软件等两种访问方式，本人在2002就用过Xdisk这个网络磁盘软件系统，它可以通过客户端软件在本地创建一个名盘符为X的虚拟磁盘，实现重要文件的存储和管理，使用的方式与使用本地磁盘相同。

网络磁盘的容量空间一般取决与服务商的服务策略，或取决于使用者想服务商支付的费用多少。

2、 在线文档编辑

经过近几年的快速发展，Google所能提供的服务早已经从当初单一的搜索引擎，扩展到了Google Calendar、Google Docs、Google Scholar、Google Picasa等多种在线应用服务。Google一般都把这些在线的应用服务称之为云计算。

相比较传统的文档编辑软件，Google Docs的出现将会使我们的使用方式和使用习惯发生巨大转变，今后我们将不再需要在个人PC上安装office等软件，只需要打开Google Docs网页，通过Google Docs就可以进行文档编辑和修改（使用云计算系统），并将编辑完成的文档保存在Google Docs服务所提供的个人存储空间中（使用云存储系统）。无论我们走到哪儿，都可以再次登录Google Docs，打开保存在云存储系统中的文档。通过云存储系统的权限管理功能，还有能轻松实现文档的共享、传送、以及版权管理。

3、 在线的网络游戏。

近年来，网络游戏越来越收到年轻人的喜爱，传奇、魔兽、武林三国等各种不同主题和风格的游戏层出不穷，网络游戏公司也使出浑身解数来吸引玩家。但很多玩家都会发现一个很重要的问题：那就是由于带宽和单台服务器的性能限制，要满足成千上万个玩家上线，网络游戏公司就需要在全国不同地区建设很多个游戏服务器，而这些游戏服务器上上玩家相互之间是完全隔离的，不同服务器上的玩家根本不可能在游戏中见面，更不用说一起组队来完成游戏任务。

以后，我们可以通过云计算和云存储系统来构建一个庞大的、超能的游戏服务器群，这个服务器群系统对于游戏玩家来讲，就如同是一台服务器，所有玩家在一起进行竞争。云计算和云存储的应用，可以代替现有的多服务器架构，使所有玩家都能集中在一个游戏服务器组的管理之下。所有玩家聚集在一起，这将会使游戏变得更加精彩，竞争变得更加激烈。同事，云计算和云存储系统的使用，可在最大限度上提升游戏服务器的性能，实现更多的功能；各玩家除了不再需要下载、安装大容量的游戏程序外，更免除了需要定期进行游戏升级等问题。

二、企业级云存储应用

除了个人级云存储应用外，企业级云存储应用也即将会面世，而且以后可能会成为云存储应用的主力军。从目前不同行业的存储应用现状来看，以下几类系统将有可能很快进入云存储时代。

1、 企业空间租赁服务

信息化的不断发展使得各企业、单位的信息数据量呈几何曲线性增长。数据量的增长不仅仅意味着更多的硬件设备投入，还意味着更多的机房环境设备投入，以及运行维护成本和人力成本的增加。即使是现在仍然有很多单位、特别是中小企业没有资金购买独立的、私有的存储设备，更没有存储技术工程师可以有效地完成存储设备的管理和维护。

通过高性能、大容量云存储系统，数据业务运营商和IDC数据中心可以为无法单独购买大容量存储设备的企事业单位提供方便快捷的空间租赁服务，满足企事业单位不断增加的业务数据存储和管理服务，同时，大量专业技术人员的日常管理和维护可以保障云存储系统运行安全，确保数据不会丢失。

2、 企业级远程数据备份和容灾

随着企业数据量的不断增加，数据的安全性要求也在不断增加。企业中的数据不仅要有足够的容量空间去存储，还需要实现数据的安全备份和远程容灾。不仅要保证本地数据的安全性，还要保证当本地发生重大的灾难时，可通过远程备份或远程容灾系统进行快速恢复。

通过高性能、大容量云存储系统和远程数据备份软件，数据业务运营商和IDC数据中心可以为所有需要远程数据备份和容灾的企事业单位提供空间租赁和备份业务租赁服务，普通的企事业单位、中小企业可租用IDC数据中心提供的空间服务和远程数据备份服务功能，可以建立自己的远程备份和容灾系统。

图2

3、 视频监控系统

近两年来，电信和网通在全国各地建设了很多不同规模的”全球眼”、”宽视界”网络视频监控系统。”全球眼”或”宽视界”系统的终极目标是建设一个类似话音网络和数据服务网络一样的，遍布全国的视频监控系统，为所有用户提供远程（城区内的或异地的）的实时视频监控和视频回放功能，并通过服务来收取费用。但由于目前城市内部和城市之间网络条件限制，视频监控系统存储设备规模的限制，”全球眼”或”宽视界”一般都能在一个城市内部，甚至一个城市的某一个区县内部来建设。

假设我们有一个遍布全国的云存储系统，并在这个云存储系统中内嵌视频监控平台管理软件，建设”全球眼”或”宽视界”系统将会变成一件非常简单的事情。系统的建设者只需要考虑摄像头和编码器等前端设备，为每一个编码器、IP摄像头分配一个带宽足够的接入网链路，通过接入网与云存储系统连接，实时的视频图像就可以很方便地保存到云存储中，并通过视频监控平台管理软件实现图像的管理和调用。用户不仅可以通过电视墙或PC来监看图像信号，还可以通过手机来远程观看实时图像。

图3

以上的应用方式都只是我们目前能看到的，实际上，云存储可以应用的业务系统很多，有时间时，我会逐渐给大家一一说明。

云计算是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多台服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术，网络服务提供者可以在数秒之内，处理数以千万计甚至亿计的信息，达到和”超级计算机”同样强大的网络服务。如下图：

云计算系统的建设目标是将运行在PC上、或单个服务器上的独立的、个人化的运算迁移到一个数量庞大服务器”云”中，由这个云系统来负责处理用户的请求，并输出结果，它是一个以数据运算和处理为核心的系统。

云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。 当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。

与云计算系统相比，云存储可以认为是配置了大容量存储空间的一个云计算系统。下图是云计算和云存储的架构模型对比：

从架构模型来看，云存储系统系统比云计算系统多了一个存储层，同时，在基础管理也多了很多与数据管理和数据安全有关的功能，在两者在访问层和应用接口层则是完全相同的。

第1位：视频监控。根据市场调查机构ABI的研究，未来几年视频监控市场将继续保持迅猛的发展速度。到2013年该领域的收入将有可能达到460亿美元，这是2006年135亿美元收入的两倍还要多。当然存储是推动这个领域迅速扩张的原因之一，像Intransa和Pivot3等厂商看准了这个市场契机，推出了针对视频监控应用所产生数据的管理和存储解决方案。既然我们的世界变得越来越”疯狂”，所以这个领域在短期之内是不会停止飞速发展的脚步的。

第2位：娱乐。随着摄像机的普及和电影数字处理技术的革新，存储厂商争相推出相关技术和产品来追赶这个垂直市场快速的发展脚步。

第3位：社交网络。Wikis、博客和像Facebook这样的站点都需要大量的存储空间，而且只有当企业应用开始迈进Web 2.0模式之后这种趋势才能继续下去。随着这个领域越来越受到人们关注，存储的重要性也随着时间的推移而显现出来。用户们预测，对社交网络的需求将对改善现有的非结构内容管理和文件管理起到重要的推动作用，这一点从EMC致力于开发Maui技术就可以看出来。

第4位：托管应用。根据行业研究机构In-Stat的研究结果显示，托管应用正在推动着管理服务领域的发展，预计今年该领域的国内收入将有突破422亿美元。那些托管商需要存储，这就是为什么Asigra这样的供应商向托管商示好的原因。与此同时，EMC和IBM等公司在云计算方面所做出的努力也表明存储厂商希望为SaaS技术创建一个架构的想法。所以，这当然要算作一个热门领域了。

第5位：政府存储。Arkeia、Asigra、InMage以及其他一些供应商将一部分精力放在了政府领域的主要原因就是这个领域有很大的开发价值。政府机构一直是存储IT厂商主要的投资方，不少业内报告也指出，向架构优化、内容安全和Web 2.0网络发展的趋势证明了未来政府存储方面的需求将愈加强烈。

第6位：医疗归档。全球范围内的医院、医生和医疗保健机构都在他们的图像存储与传输系统(Picture Archiving and Communications Systems，PACS)中创建大量的医疗图像等数据文件。不少厂商都看准了这个市场需求，纷纷推出了相关的解决方案，其中包括EMC、HDS、惠普、IBM、NetApp、Overland、Permabit以及Plasmon。医疗内容管理专业厂商Bycast也与存储供应商建立了合作关系。现在还有不少厂商推出了相关的存储服务，比如最近Iron Mountain就有所举措。我们估计未来这方面还会有更大的发展空间。

网友：

逛了好多次你的blog，先感谢你！你的blog很好，资料多且全，写得也有特点，存储牛人就是不一样！在你的blog上学习了不少，也下载了几个需要的软件。你上面的“学习存储技术的5阶段”对我帮助挺大的。
 
我去年刚毕业，接触了存储一年了，现在在做存储的测试。从一开始的从没听说存储做起，到现在虽不是很熟悉行业的总体但也了解了不少信息及学习了不少知识。但现在对职业有些迷茫。存储这个行业我还是挺喜欢的，而且前景也看好。现在做的是测试，由于测试环境所限制，只停留在某些产品系列上，对于小机、其他公司的产品或者存储实际的应用环境都难真正接触，测试起来也似乎脱离了应用，不知道如何才能更进一步了解存储？由于了解有限，不是很清楚以后该具体向哪方面发展，在存储行业有那些方向？
 
sansky：

呵呵，很高兴收到你的邮件。
 
首先要说的是比起那些很难接触到存储设备的朋友来讲，你能经常性的做一次测试，已经是很幸运的了。我想说的是初期学习存储时一定不要大而全，就那一两款设备，一两个应用环境，能够由浅到深，从内到外地全部了解清楚就已经很不容易了。我当曾将近4年时间就面对两个产品，但我从来不认为没学到东西。这篇文章你可以参考“我是如何学习存储技术的”。 
 
初期时，很多诸如行业如何发展、行业现状、最新技术之类东西最好不要就关心，关心了也没有用。等到你需要关心时就已经学成了。
 
“学习存储技术的5阶段”中提到的准备阶段和新人阶段中需要掌握的内容是至关重要，是后几个阶段的基础，熟练地掌握这些对于后几个阶段的学习具有巨大的促进作用。很多产品的技术、特性都可以用基础的理论来解释，这是我的亲身感受。而你现在条件非常好，测试环境可以帮助你了解那些你希望了解的知识点。
 
不要抱怨能接触到产品好。完全深入的了解了一款产品，就等于了解了很多款产品。因为很多厂商的产品都差不多，区别就是一些参数指标或叫法不一样。找到资料，努力背几天就可以了。
 
纯粹是个人理解，你可以参考。
 
祝你工作顺利，在学习存储的过程中每一天都有收获。

我个人建议学习存储技术可以分为前期准备阶段、存储新人阶段、存储老人阶段、存储高人阶段和存储牛人阶段，每个阶段应该学习或应该达到的目标如下：

前期准备阶段：

1、至少熟悉一个操作系统windows，unix或linuix，特别是操作系统中对磁盘设备，磁盘和分区管理部分。
2、知道熟悉一种文件系统的原理、创建和管理。
3、至少熟悉一种应用系统读写数据的方式，是文件访问、数据块访问和流媒体访问，熟悉系统中各服务器在数据读写时的流程和调用方式。
4、熟悉物理磁盘、逻辑磁盘、volume.分区等基本概念、区别和关系。
5、非常熟悉各种级别的RAID之间的区别、读写访问时的区别。
6、熟悉IP协议、SCSI协议。
7、具有一定的英文阅读能力，可以看明白IT技术类资料。

我所说的熟悉不是仅仅知道概念，而是要能够很清楚地解释或写出来，至少能用理论正确地说服自己，这才叫熟悉。
这些都是学习存储技术前必须具有的基础东西，如果你不具备，请在学习存储技术的过程中不断的深化，但建议有一定的基础。

存储新人阶段：

1、了解FC 协议，了解FC协议的OSI模型，熟悉WWN地址的原理和作用。
2、至少熟悉一个品牌FC交换机的安装、调试、管理和故障排除，深刻理解ZONE的概念和作用。
3、至少熟悉一款FC存储设备的安装、调试和管理，熟悉存储、FC交换机和主机之间连接方式和设置指令。
4、熟悉该款存储设备的创建RAID、LUN、LUN MAPPING、block size、cache等基本操作的指令、原理、各项参数的区别和优化方法。
5、熟悉快照、镜像、复制等指令。
6、说白了，要熟悉该款设备的任何一个指令。

建议在这个阶段只选定一两款设备，深入、深入再深入。把所有其它设备的资料束之高阁。如果你有上机操作的机会，请在设备上反复进行练习。也可以下载个别厂商提供的模拟机软件。若能做到闭着眼睛都可以完成每步操作、知道每步操作的作用就表示你已经胜利完成初学阶段了。

存储老人阶段：
1、熟悉不同操作系统和文件系统下，存储设备逻辑卷的管理和使用。
2、熟悉不同应用系统下选择最佳的RAID方式，控制器cache工作方式。
3、至少熟悉一款存储设备的逻辑模块图，了解各模块之间的工作方式和调用方式。
4、熟悉应用系统对带宽、IOPS等性能指标的要求。
5、熟悉SCSI，ISCSI,FC协议。
6、知道什么是存储介质，什么是存储设备的类型，什么是存储系统的网络架构。
7、熟悉3-5款存储设备的指令和功能。不要求记住命令行，只要求知道命令的作用，能区分它们之间的异同点。
8、了解存储虚拟化、重复数据删除、持续数据保护、绿色存储等概念。

当有人问“NAS、ISCSI和FC那个最好”这样的问题，或者说“端口越多cache越大，性能就越好”这样的话，你可以从内心深处鄙视他的时候，就说明你已经完成了该阶段了。

写到这里，突然觉得写不下去了。再回头看看，发现把学习指导写成了能力评定标准了。越来越觉得不能给每一个阶段指定必须要学习什么，我见过几个牛人化了很多年时间只去深入一个方向。再者技术分工也很多，我也没有能力一一列举出来。不过我相信等过了这个阶段，大家就自然会明确自己下一步该学习什么，该在哪一个方面继续努力。

存储高人和存储牛人两个阶段我就不写了，免得贻笑大方。呵呵。
仅以此文做为给大家的2008年新年贺礼，祝愿大家在新的一年里工作顺利，升职加薪！

MAID，即Massive Arrays of Idle Disks，中文意思为大规模非活动磁盘阵列存储。SNIA对MAID的定义是：A storage system comprising an array of disk drives that are powered down individually or in groups when not required。 MAID storage systems reduce the power consumed by a storage array。

MAID技术在磁带库工作模式的基础上提出和发展起来的。磁带库的工作原理是正常状态下所有的磁带都放置在磁带库的槽位中，需要某盘磁带时才将它放在磁带机中，然后进行数据读写。而在大部分时间，大多数磁带是处在非工作状态的。MAID应用了同样的原理，只有需要时才将一部分磁盘开机运转，而其他磁盘通常处于断电状态，就像磁带库中的磁带一样。因此应用的MAID技术的磁盘存储也可以称之为磁盘库。

MAID极大地满足了目前流行的“绿色存储”所要求的绿色、环保和节能的特点，存储设备中的所有磁盘并不是每时每刻都处于Active和Power ON状态，大部分硬盘处于Power OFF状态，只有系统需要进行读写访问时，硬盘才会重新Power ON。MAID存储中SATA硬盘启动的时间大约为10秒。处于Power ON状态的硬盘经过一定空闲时间（时间段长度可根据系统的访问特点、频度来预先设定）后，根据策略重新下点，变成Power OFF状态，以达到节点、环保、延长硬盘使用寿命的功能。

以Nexsan的AutoMAID为例来说MAID节点功能工作方式的三个阶段，各个阶段的时间间隔可由用户自行定义。

假设2分钟内没有读取资料时，硬盘磁头就会自行停留到没有存取数据的地方，以节省磁头的功耗；过了10分钟后若仍没有读取，就会进入第二阶段，硬盘会降低转速至4000rpm；若过了15分钟后仍没有读取资料，就会进入第三阶段，硬盘于是会停止运转，等到系统呼叫时再启动，但由于硬盘仍处于通电状态，因此还是在“准备状态”，再启动的时间约为10～15秒。

 MAID存储的功能

MAID（Massive Arrays of Idle Disks）技术的在工作方式使得MAID存储设备具有一下几个重要的功能和特点：

• MAID存储系统中的磁盘或磁盘RAID组可以在没有读写访问时依据策略下电；

• 下电磁盘自动依策略进行故障检查；

• 磁盘在下电以后，一旦有读写请求，磁盘自动上电，RAID组可重新提供正常访问；

• 降低能耗，电能节约可到达30%；

• 减少环境和管理成本；

• 更长的磁盘使用寿命。

具有MAID功能的存储设备可以大幅度节约对电能的消耗，特别是在大容量的数据中心或数据仓库系统中，能够减小机房供电系统的压力。

MAID功能可以使用磁盘在未访问的情况下处于Power OFF状态，停止磁盘片的高速转动，停止磁盘移动，有效地延长了磁盘的使用寿命。特别是在现在的大容量存储普遍采用低安全性和稳定性的SATA磁盘的系统中，MAID功能已有有效地降低SATA出现损坏的几率，减少RAID组因多块磁盘损坏而引起整体数据丢失的现象。

MAID存储产品

MAID存储其实在几年前就存在了，只是一直难以引起大家注意和重视。而现在，在全球都倡导 “绿色、节能和环保”的大前提下，特别是“SNW 2007”提出绿色存储的概念后，MAID有重新被提到了桌面上，并有趋势将成为“绿色存储”概念中一个重要的部分。

Copan、Nexsan是MAID存储技术的早期开发者，近一年来许多存储大厂也开始竞相投入该技术。富士通（Fujitsu）于去年新款的存储产品ETERNUS8000／4000中首度加入该技术，NEC日前新增的NEC Storage D系列也采用了MAID技术，另外，也有其它存储厂商看好MAID为未来重要的技术，并预计在年底之前发表基于该技术的存储产品。

COPAN的专利Disk Aerobic软件能够持续监控所有运行的驱动器，并定期对闲置磁盘进行检测，确保系统中所有磁盘在设计指标范围内健康运行。一旦发现某磁盘有故障显示，Disk Aerobic软件将用一个备用盘代替，并将其撤出系统。这样就大大降低了由于磁盘失效重建RAID的概率，从而消除了在RAID恢复前第二张磁盘再次出错的可能性。该软件还会自动每月进行一次对数据的例行检查。一旦发现磁盘上有任何错误信息或无法读取，将对数据进行修正以保证将来数据的随时读取。

MAID存储解决方案

机房绿色节能解决方案

随着网络化、信息化和数据化进程的不断发展，大型的数据中心的服务器和存储数据非常庞大，其中服务器和存储的耗电量平均占到机房总耗电量的50％和40%。机房的耗电量成为数据中心日常运营的一个重要的开支，如何实现机房节能，降低数据中心运营成本成为一个重要的趋势。

MAID存储的节能效率因业务系统应用特点的不同而变化，其平均能率可以达到25-30%。数据中心中大量采用MAID存储就可以大幅度节约电能，降低数据中心的运营成本。

基于VTL+MAID的数据备份存储解决方案

数据库系统、邮件系统等的数据备份系统一般都以发生数据丢失时的数据恢复为目的，只要在线业务系统是安全和稳定的，除了每天需要进行一次或多次数据备份操作外，备份系统基本上处于闲置状态。这种设备使用方式正好符合MAID存储的工作方式。

数据库备份系统采用MAID存储，并结合高性能的VTL虚拟磁带库软件，就不仅可以实现在线系统和备份系统之间高效快速D-D数据备份和数据恢复，减小数据备份窗口，保证业务的系统的正常工作和故障后的快速恢复，还可以在备份系统空闲时，有效降低对电能的消耗，降低硬盘的故障几率，大幅度提高备份数据自身的安全性。

基于CDN+MAID的视频网站存储解决方案

大型的IPTV、视频下载视频点播、以及越来越流行的播客系统中一般都会保存有几千、几万甚至几十万、上百万小时的节目，这些节目中的大部分都是重要的媒体资产，需要长期保存下去。而且随着系统的发展，节目量会越来越大，用于存储视频文件的存储设备容量需要越来越大。

我们知道视音频应用系统中的节目内容数量虽然很大，但一般都会根据点击率分为热门和非热门两种类型， CDN（内容分发网络）系统根据预定的点击率变化策略将不同的视音频文件分发到多个存储设备，或一个存储的多个路径下。需要经常被访问到的热门视音频文件可以存储在高性能的存储设备上，而大量的非热门视音频文件就可以存储在节能的MAID存储上。MAID技术能够大量存储着非热点视音频的存储实现节能，从而降低系统的运营成本。

基于存储策略+MAID的视频监控存储解决方案

随着电信“全球眼”和网通“宽世界”，以及各地市“平安城市”视频监控系统系统的建立，用于视频监控系统的存储设备数量越来越多，系统中存储设备的容量也越来越大。

视频监控系统设计规范要求各监控点采集的视频图像必须在线保存10-15天、甚至30天后才能被删除。对于存储设备来讲，如果一个监控点未发生任何非正常状况，从该监控点采集的视频图像文件，从开始写入到被删除这个较长的时段内一般是不会被访问到的。如果这部分视频图像文件的存储设备存储MAID存储，就可以大幅度节约电能消耗，实现绿色地环保节能功能。

假设视频监控系统按容量要求配置15个存储卷，我们可以设计监控系统管理平台的存储策略，设置第一天的图像文件存储在第一个卷中，第二天的图像文件存储在第二个卷中，以此类推，15个存储卷可以实现十五天图像文件的存储。根据这样的存储策略，整个MAID存储系统可以保证所有的图像文件都能实时在线，但任一时刻只有一个卷所对应的硬盘处于Power ON状态，其余的十四个卷全部处于Power OFF，从而在最大程度上减少电能消耗，降低监控系统的运行成本。而且可以避免因所有硬盘7*24小时工作造成高频率损坏。

更多解决方案

为了进一步实现绿色节能存储的目标，MAID存储中还可以采用更先进的更低能耗的处理芯片，减小每块硬盘的耗电量；结合数据生命周期管理，减少高耗电磁盘（73GB、15,000转硬盘的单位容量耗电量相当于750GB、7,200转硬盘的11倍）的数量；结合重复数据删除技术，节省硬盘的总需求数量，从而达到最佳的绿色节能效果。

MAID存储的应用环境

MAID存储的工作原理是使长时间无访问请求的硬盘处于Power OFF状态，以达到绿色节能和延长硬盘寿命，因此MAID存储适用于访问频率低、数据即时可得性要求第的大容量近线存储（Nearline Storage）设备和分级存储，尤其适用在以数据恢复为目的的数据备份和数据归档等应用上。并不适用于高性能实时访问系统，或访问时间间隔较小的应用系统。

他提出的问题如下：

1、每秒最大I/O 100,000 IOPS －－－－－－－－－－－－》IO多大？

回答：
存储端的IOPS性能和主机端的IO是不同的，IOPS是指存储每秒可接受多少次主机发出的访问，主机的一次IO需要多次访问存储才可以完成。例如，主机写入一个最小的数据块，也要经过“发送写入请求、写入数据、收到写入确认”等三个步骤，也就是3个存储端访问。

所以到底能支持多少个IO，要看业务系统类型和数据读写方式了。

2、每秒最大传输带宽 410MB/S －－－－－－－－》IO多大，IOPS多少测试得到的值？

回答：
IOPS * BLOCK SIZE=带宽 所以IOPS越高，带宽肯定越大，当然存储的价格也越贵。

一般地在小文件应用类系统中，设置BLOCKSIZE为4K，16K，最大32k，测试的目标是高IOPS，但带宽比较低
在大文件应用系统中，设置BLOCKSIZE为512K,1024K，4096K, 测试的目标是高IOPS，但IOPS性能比较低。

3、控制器 双Active-Active SAS/SATA控制器 －－－－》双空是怎么工作的呢？

回答：
一般都是双控制管不同的卷、两个控制器之间实现缓存，与FC设备的工作方式相同

4、缓存模式 Write-through, write-back, adaptive write －－－－》

回答：
存储的一般数据写入方式是：主机通过连接设备将数据传到存储的控制器，先写入控制器的高速缓存，然后返回主机一个写入成功的指令，有主机去执行下一个操作。控制器的缓存在后台将数据写入磁盘。这种方式就叫做write-back。

Write-through：数据直接写入磁盘，不写入控制器的缓存。

read-ahead：缓存预读功能，存储设备可以将要读写的数据预先读入高速缓存，方便主机的方式。

存储设备的缓存一般都知道不同的容量给read-ahead和write-back，两者的容量有的存储需要在创建RAID组时制定比例或容量大小，有点存储则不需要，它可以根据当前访问的特点自动分配，那么这种自动分配的功能就称之为adaptive write。

5、控制器缓存 2GB ECC 缓存, 带72小时电池备份 －－－－－－》电池备份干什么用的？

回答：
write-back功能虽然可以大幅度提高数据写入的性能，但也使用数据写入的过程变得不安全。
假设在正常的数据写入过程中，一部分数据已经写入磁盘，主机端也收到了写入成功的指令，但数据实际上还在缓存中，还没有写入磁盘。这时一旦机房供电系统发生故障，存储系统整体掉电，缓存中的数据就会丢失，这样就会造成存储中的数据和主机端的记录不一致。对于数据库系统来讲，数据库宕机后无法启动的最多原因就是因为数据不一致。因此，数据库备份、容灾等系统的核心工作就是保证数据的一致性。

缓存电池保护的功能就是在外部系统整体断电时，还能通过控制器上的电池（一般都是大容量纽扣电池）继续为缓存供电，保证缓存中未写入磁盘的数据不会丢失，并能在供电系统恢复后自动将缓存中的数据写入磁盘。

这个功能对于那些数据库类的结构化数据应用系统，数据不可重现的小文件应用类系统是非常重要的。

6、RAID校验 采用ASIC硬件校验 －－－－－－－－》ASIC硬件校验，XOR硬件做的？

ASIC硬件校验就是硬件的XOR校验

iSCSI（iSCSI = internet Small Computer System Interface ）是由IEETF开发的网络存储标准，目的是为了用IP协议将存储设备连接在一起。通过在IP网上传送SCSI命令和数据，ISCSI推动了数据在网际之间的传递，同时也促进了数据的远距离管理。由于其出色的数据传输能力，ISCSI协议被认为是促进存储区域网（SAN）市场快速发展的关键因素之一。因为IP网络的广泛应用， ISCSI能够在LAN、WAN甚至internet上进行数据传送，使得数据的存储不再受地域的现在。

ISCSI技术的核心是在TCP/IP网络上传输SCSI协议，是指用TCP/IP报文、和ISCSI报文封装SCSI报文，使得SCSI命令和数据可以在普通以太网络上进行传输，如下图：

iSCSI 协议定义了在 TCP/IP 网络发送、接收 block（数据块）级的存储数据的规则和方 法。发送端将SCSI命令和数据封装到 TCP/IP 包中再通过网络转发，接收端收到 TCP/IP 包 之后，将其还原为SCSI命令和数据并执行，完成之后将返回的SCSI命令和数据再封装到 TCP/IP 包中再传送回发送端。而整个过程在用户看来，使用远端的存储设备就象访问本地的 SCSI设备一样简单。

早在 2001 年上半年，IBM 就推出了IP Storage 200i，是市场上公认的第一款基于iSCSI 协议的产品，这款产品的出现，对于身处信息爆炸时代却无法承担光纤通道 SAN 环境高成本的中小型用户来说，具有巨大的吸引力；2001年10月，Cisco也推出了SN5420存储路由器，基于IP标准和SAN标准，可以提供与现有LAN、WAN、光纤和SAN设备之间的互操作，率先建立了IP网络与SAN之间的桥梁。现在，有更多的厂商参与到iSCSI产品的开发中，如Intel已经推出了存储网卡 IP Storage iSCSI PRO/1000T，将协议转化也就是封装、还原 TCP/IP 包的步骤转移到网卡上来执行，大大降低了服务器处理器的占用率。同时，还有芯片、板卡制造商加入到iSCSI产品的开发中，如Adaptec、Qlogic 等等。

iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择。用户可使用标准的千兆级以太网传输协议，通过Cat5线缆和任意的交换机产品，将服务器与磁盘阵列连接在一起，并且能够提供接近FC SAN的性能。

iSCSI集SCSI、以太网和TCP/IP等技术于一身，支持iSCSI技术的服务器和存储设备能够直接连接到现有的IP交换机和路由器上，具有低廉、开放、大容量、传输速度高、安全等诸多优点，最适合需要在网络上存储和传输大量数据的应用环境，比如广电视频制作和媒资系统，视频监控系统，IPTV系统，数据备份系统，以及许多的对IOPS和带宽性能要求不是还很高的数据库存储系统、大容量文件存储系统。

iSCSI存储系统架构

现在市场有很多不同型号的iSCSI存储设备，设备的型号和参数有很多不同，厂商在做市场宣传时候也经常采用不同的口号或噱头，标榜自己的产品有各种各样不同的功能和优势。

实际上当我们对iSCSI设备的结构进行深入的研究时就会发现iSCSI从架构上可以分为4种类型的架构。

一、控制器架构

iSCSI的核心处理单元采用与FC光纤存储设备相同的结构。即采用专用的数据传输芯片、专用的RAID数据校验芯片、专用的高性能cache缓存和专用的嵌入式系统平台。打开设备机箱时可以看到iSCSI设备内部采用无线缆的背板结构，所有部件与背板之间通过标准或非标准的插槽链接在一起，而不是普通PC中的多种不同型号和规格的线缆链接。

这种类型的iSCSI存储设备核心处理单元采用高性能的硬件处理芯片，每个芯片功能单一，因此处理效率较高。操作系统是嵌入式设计，与其他类型的操作系统相比，嵌入式操作系统具有体积小、高稳定性、强实时性、固化代码以及操作方便简单等特点。因此控制器架构的iSCSI存储设备具有较高的安全性和和稳定性。

控制器架构iSCSI存储内部基于无线缆的背板链接方式，完全消除了链接上的单点故障，因此系统更安全，性能更稳定。一般可用于对性能的稳定性和高可用性具有较高要求的在线存储系统，比如：中小型数据库系统，大型数据的库备份系统，远程容灾系统，网站、电力或非线性编辑制作网等。

控制器架构的iSCSI设备由于核心处理器全部采用硬件，制造成本较高，因此一般销售价格较高。

目前市场还可以见到一种特殊的基于控制器架构的iSCSI存储设备。该类存储设备是在现有FC-SAN存储设备的基础上增加iSCSI协议转换模块，使得FC-SAN存储设备可以同时支持FC数据传输协议和iSCSI传输协议，如EMC 150i/300i/500i，HDS AMS1000/500/200等。

常见控制器架构iSCSI产品：

1、Equlogic PS300E系列

 .

2、Infortrend EonStor A16E

3、UIT BS2000e/3000e

区分一个设备是否是控制器架构，可从以下几个方面去考虑：

1、是否双控：除了一些早期型号或低端型号外，高性能的iSCSI存储一般都会采用active-active的双控制器工作方式。控制器为模块化设计，并安装在同一个机箱内，非两个独立机箱的控制器。

2、缓存：有双控制器缓存镜像、缓存断电保护功能。

3、数据校验：采用专用硬件校验和数据传输芯片，非依靠普通CPU的软件校验，或普通RAID卡。

4、内部结构：打开控制器架构的设备，内部全部为无线缆的背板式连接方式，各硬件模块连接在背板的各个插槽上。

二、iSCSI连接桥架构

整个iSCSI存储分为两个部分，一个部分是前端协议转换设备，另一部分是后端存储。结构上类似NAS网关及其后端存储设备。

前端协议转换部分一般为硬件设备，主机接口为千兆以太网接口，磁盘接口一般为SCSI接口或FC接口，可连接SCSI磁盘阵列和FC存储设备。通过千兆以太网主机接口对外提供ISCSI数据传输协议。

后端存储一般采用SCSI磁盘阵列和FC存储设备，将SCSI磁盘阵列和FC存储设备的主机接口直接连接到iSCSI桥的磁盘接口上。

iSCSI连接桥设备本身只有协议转换功能，没有RAID校验和快照、卷复制等功能。创建RAID组、创建LUN等操作必须在存储设备上完成，存储设备有什么功能，整个iSCSI设备就具有什么样的功能。

SANRAD的V-Switch系列，ATTO Technology的iPBridge系列的iSCSI桥接器，提供iSCSI-to-SCSI与iSCSI-to-FC 的桥接，可将直连的磁盘阵列柜(Disk Array，JBOD、DAS)或磁带设备(Autoloader、Tape Library)转变成iSCSI存储设备。

不过随着iSCSI技术的逐渐成熟，连接桥架构的iSCSI设备越来越少，目前的市场上基本已看不到这样的产品了。

三、PC架构

那么何谓PC架构？按字面的意思可以理解为存储设备建立在PC服务器的基础上。即就是选择一个普通的、性能优良的、可支持多块磁盘的PC（一般为PC服务器和工控服务器），选择一款相对成熟稳定的iSCSI target软件，将iSCSI Target软件安装在PC服务器上，使普通的PC服务器转变成一台iSCSI存储设备，并通过PC服务器的以太网卡对外提供iSCSI数据传输协议。

目前常见的iSCSI Target软件多半由商业软件厂商提供，如DataCore Software的SANmelody，FalconStor Software的iSCSI Server for Windows，和String Bean Software的WinTarget等。这软件都只能运行在Windows操作系统平台上。

在PC架构的iSCSI存储设备上，所有的RAID组校验、逻辑卷管理、iSCSI 运算、TCP/IP 运算等都是以纯软件方式实现，因此对PC的CPU和内存的性能要求较高。另外iSCSI存储设备的性能极容易收PC服务器运行状态的影响。

当由于PC架构iSCSI存储设备的研发、生产、安装使用相对简单，硬件和软件成本相对较低，因此市场上常见的基于PC架构的iSCSI设备的价格都比较低，在一些对性能稳定性要求较低的系统中具有较大的价格优势。

常见PC架构iSCSI存储设备：

1、INTEL SSR212CC iSCSI产品图片：

2、H3C EX1000 iSCSI产品图片：

3、HP MSA1510i iSCSI产品图片：

四、PC+NIC架构

PC+iSCSI Target软件方式是一种低价低效比的解决方案，另外还有一种基于PC+NIC的高阶高效性iSCSI 方案。

如果只是将高速Ethernet用于存储网络化过于可惜，因此众多厂商发起了iWARP，不仅可实现存储网络化，也能实现I/O 的网络化。通过RDMA(Remote Direct Memory Access)机制简化网络两端的内存数据交换程序，从而加速数据传输效率。

目前Broadcom提出所谓的C-NIC(Converged NIC)聚合型网卡理念，即是在一颗NetXtreme II 系列的GbE控制芯片内同时具备以太网络、存储网络化、I/O网络化等功效。传统以太网部分具有TOE运算，存储网络化则具备iSCSI运算、I/O网化则具备RDMA运算，大幅卸除CPU的辅助运算，使CPU占用率降至20%以下。

Broadcom 目前的代表性芯片为BCM5706(PCI/PCI-X 接口)与BCM5708S(PCIe 接口)，其中BCM5706 为第一代，BCM5708S 为第二代，第二代传输率从1Gbps 提升至2.5Gbps。第三代传输率从2.5Gbps 提升至10Gbps。

iSCSI存储连接方式

我们分析了iSCSI存储的系统结构，下面来看iSCSI是如何与服务器、工作站等主机设备来连接的，也就是我们如何建立一个iSCSI网络存储系统。

iSCSI设备的主机接口一般默认都是IP接口，可以直接与以太网络交换机和iSCSI交换机连接，形成一个存储区域网络。根据主机端HBA卡、网络交换机的不同，iSCSI设备与主机之间有三种连接方式。

第一种：以太网卡+initiator软件方式。

服务器、工作站等主机使用标准的以太网卡，通过以太网线直接与以太网交换机连接，iSCSI存储也通过以太网线连接到以太网交换机上，或直接连接到主机的以太网卡上。在主机上安装Initiator软件。

安装Initiator软件后，Initiator软件可以将以太网卡虚拟为iSCSI卡，接受和发送iSCSI数据报文，从而实现主机和iSCSI设备之间的iSCSI协议和TCP/IP协议传输功能。

这种方式由于采用普通的标准以太网卡和以太网交换机，无需额外配置适配器，因此硬件成本最低。缺点是进行ISCSI包文和TCP/IP包文转换要点主机端的一部分资源。不过在低I/O和低带宽性能要求的应用环境中和完全满足数据访问要求。

目前很多最新版本的常用操作系统都提供免费的Initiator软件，建立一个存储系统除了存储设备本身外，基本上不需要投入更多的资金来，因此在三种系统连接方式中其建设成本是最低的。

第二种：硬件TOE网卡+initiator软件方式。

第一种方式由于采用普通以太网卡和以太网交换机，无需额外配置适配器，或专用的网络设备，因此硬件成本最低。但由于进行ISCSI包文和TCP/IP包文的打包和解包全部需要主机主处理器CPU来进行运算，数据传输率直接受到主机当前运行状态和可用资源的影响和限制，因此一般无法提供高带宽和高IOPS性能。

具有TOE（TCP Offload Engine）功能的智能以太网卡可以将网络数据流量的处理工作全部转到网卡上的集成硬件中进行，把系统主处理器CPU从忙于协议处理的繁重的内核中断服务中解脱出来，主机只承担TCP/IP控制信息的处理任务。

与第一种方式相比，采用TOE卡可以大幅度提高数据的传输速率。TCP/IP协议栈功能由TOE卡完成，而iSCSI层的功能仍旧由主机来完成。

由于TOE卡也采用TCP/IP协议，相当于一块高性能的以太网卡，所以第二种方式也可以看做是第一种连接方式的特殊情况。

第三种：iSCSI HBA卡连接方式。

在主机上安装专业的iSCSI HBA适配卡，从而实现主机与交换机之间、主机与存储之间的高效数据交换。

与前两种方式相比，第三种连接方式中采用了iSCSI HBA卡，因此数据传输性能最好，价格也最高。

后两种方式都需要在主机上安装专门的硬件板卡，由于目前TOE网卡和iSCSI HBA的市场价格都比较贵。如果网络中主机数量比较多，那么网络总资金投入不见得会比FC-SAN存储系统低很多，网络的带宽和性能却相比FC-SAN存储系统差了很多。

有的读者可能会问，为什么这三种方式中都没有采用iSCSI交换机？

实际上，我们能在市场上看到的iSCSI交换机都不是真正意义上交换机，所谓的iSCSI交换机应该称之为iSCSI协议转换器、或者iSCSI桥接器。一部分端口用来连接主机的iSCSI HBA卡，另一部分端口用来连接FC存储或SCSI存储，只能实现存储设备与主机之间的FC-iSCSI（或SCSI-iSCSI）协议连接，不能实现iSCSI-iSCSI协议连接，其工作方式完全不同于以太网交换机或FC交换机那样，实现某一个协议内的互联互通。

因此iSCSI交换机一般都用作iSCSI存储内的控制器，而不是iSCSI存储与主机之间网络连接设备。

iSCSI存储使用模式：

1、DAS使用方式

ISCSI存储设备和SCSI存储和FC存储一样，可以直接通过连接线缆与主机上的HBA连接，作为主机的DAS直接连接存储来使用，如下图：

ISCSI存储设备的卷由服务器或NAS网关来管理和使用，其它的工作站通过服务器和NAS网关来访问iSCSI存储上数据。整个系统安装调试简单方便，服务器和NAS网关很容易实现数据的网络化共享访问。但服务器和NAS网关直接影响整体存储网络系统的性能，低配置的服务器和NAS网关及有可能成为整个系统的性能瓶颈。

2、SAN使用方式

ISCSI和FC存储一样具有良好的网络扩展性，可通过网络交换设备与多台主机连接。通过网络交换设备连接时，iSCSI存储上的LUN对于主机来讲相当于裸设备，因而需要注意文件系统的管理问题。

A、存储设备层共享

ISCSI设备上创建多个LUN，不同的LUN制定给不同的主机。各主机分别管理和访问自己的LUN。相当于将多个主机的本地磁盘集中放置在一个网络化的设备中，各主机之间仅实现硬件设备层的共享。如下图：

B、集群共享

系统中有多个数据库系统和WEB集群系统，每两台服务器之间需要管理和使用相同的LUN,主机之间通过MSCS或RAC等软件实现集群共享功能。如下图：

每一个卷仅在两台主机之间共享，两台主机通过集群软件共同对同一个文件系统进行管理。

C、网络存储共享

在许多大型的高性能计算系统、广电非线性编辑制作系统、IPTV发布系统中，应用需要多台主机能同时访问同一个文件系统（同一个卷）中的数据，可能会是同一个数据。如下图：

为了保证同一个文件系统可以同时被多台主机访问，且不会因为并发访问而引起文件系统管理冲突，常规的做法是在所有需要文件系统共享的主机上安装SAN网络存储共享管理软件，并设置一台或多台主机为管理软件的服务器端。该服务器负责管理主机之间的元数据交换，因此被成为MDC，即Metadata Controller。

关于SAN网络存储共享管理软件的功能介绍请参看SAN网络存储共享管理软件全攻略。

iSCSI存储常见技术参数：

目前市场的iSCSI产品数量繁多，用户在选择iSCSI产品的时候往往被各种各样的参数和指标搞得云头转向，不知如何正确去选择自己希望的产品。下面，我以市场常见几款产品的技术参数为例，给大家介绍如何通过厂商的技术参数来正确分析和认识iSCSI产品。

常见iSCSI存储技术参数表：

实际上任何一个主流iSCSI存储设备都不可能同时具有上表中的所有的参数或功能。

1、系统性能：

各厂商的技术参数表中最不可靠的就是性能指标了。IOPS一般都会在30000-100000之间变动，iSCSI存储对外提供几个IP接口，一般都会说有几百兆端口。

实际上iSCSI设备的IOPS性能都不高，一般在5000-20000之间，加入你的业务系统对IOPS很关注，建议选择FC-SAN存储，如果业务系统对IOPS有一点关注，建议提前做模拟测试，且选择控制器架构的设备，如果业务系统对IOPS没有要求，那么IOPS指标这一项可以不看。

假如技术指标中说有4个IP接口所以就有400MB/S的带宽性能，那你可以明确一点的就是厂商在骗你。我们知道存储设备的性能取决于其内部的控制器，而不是主机接口的数量。不提升控制器的处理器速度、不优化其数据传输效率，不增加缓存容量，简单地增加IP主机接口的数量不可能提高存储设备性能的。

关于性能指标，建议控制器架构的取其三分之二，PC架构取其一半。没有任何依据，仅仅是我的经验，也仅供大家参考。

2、控制器：

ISCSI存储的核心就是控制器了。

一般的iSCSI存储为单控制器，中高端设备为active-active（双活）或active-standby（主备）模式的双控制器。可能个别厂商会用”单/双存储处理器”来冒充单/双控制器，所谓的”单/双存储处理器”仅仅是PC架构中的两个Intel或AMD的CPU，甚至只是一个双核的CPU，和双控制器完全是两个概念。

ISCSI的双活控制器一般是指可以安装在同一个无源背板上，两者之间可通过缓存镜像实现数据同步，两者可同时管理相同的后端存储。两个控制器同时工作，任何一个控制器发生故障时，另一个控制器可以即时接管理它的任务。备用控制器一般都是一块无源的模块化电路板，可快速热插拔更换。PC架构的iSCSI存储一般无法实现上述功能，只能通过集群功能（如Windows MSCS）来实现多台iSCSI存储之间的主备故障切换。

控制器架构的iSCSI存储的核心处理芯片多为PowerPC，部分采用Intel或AMD服务器CPU，个别由FC存储改造的iSCSI存储会采用专用的CPU。中高端iSCSI存储可能会采用双处理器，一个处理器负责系统管理和数据传输，另一个处理器ASIC芯片专门用作RAID校验和数据读写校验。

缓存一般为2-4GB，建议小文件、对IOPS有一定要求的应用类系统尽量采用大容量缓存。缓存可根据应用系统的需求设置成Write-through，write-back等多种工作模式。缓存掉电保护可通过纽扣电池来实现。

PC架构的iSCSI存储的核心处理芯片多为Intel或AMD服务器CPU，CPU不仅要负责系统管理和数据传输，还要负责RAID校验和数据读写校验，中高端PC架构iSCSI存储内容一般为双CPU。

缓存一般为2-4GB，但缓存大小对性能的影响没有控制器架构的明显。一般无缓存掉电保护功能，只能通过存储设备后端或机房中的UPS电源来提供突然的断电保护。

3、接口：

常见iSCSI多位2-6个IP接口，个别设备可能会提供8个、更多个接口。部分iSCSI存储提高SAS接口和FC接口。IP接口有以太网接口模块型（控制器架构、iSCSI桥接器架构和FC-SAN改造存储）和网卡型（PC架构和PC+NIC架构）

越来越多的iSCSI存储支持大容量，控制器和磁盘扩展柜之间通过SAS接口连接，FC-SAN改造型多沿用原来的光纤通道协议接口来扩展容量。

4、RAID及磁盘

近两年的iSCSI存储设备基本都能同时支持SATA和SAS硬盘，FC-SAN改造型还用支持FC磁盘，不过相信大家都不会用到。iSCSI桥接器架构的还支持SCSI磁盘。

各厂家的RAID组级别支持一般差别比较大，但RAID0，RAID1，RAID3和RAID5都是最基本的，只要列表中有自己需要的就行。

虚拟RAID技术，也可能被成为存储虚拟化（内部的）一般是指可以将多个RAID设置在一个RAID POOL中，相当于将多个RAID合并，然后在其上创建多个LUN。这样对任何一个LUN进行读写访问是，多个RAID中的磁盘同时工作，有利于提高单卷的访问性能。其功能与RAID30或50相似或相同。

凡是RAID配置信息保存在本RAID组所有磁盘中的存储都支持磁盘漂移功能，但是需要所谓3块或5块系统盘的不支持，这一点与FC存储完全相同。

LUN数量一般为512和1024，除了大型的视频监控系统存储之外，其它的业务系统无需过于关注这一项。

5、软件功能

在软件功能方面，各厂家千变万化。低端控制器架构的iSCSI存储基本上没有快照、卷复制或卷镜像等软件功能，但高端设备的功能一般比较强大，可用性较高。PC架构的iSCSI存储由于安装软件方便，因而软件功能一般较多，各种功能实现起来也比较容易。

6、其它

控制器架构的iSCSI存储可实现控制器，电源，风扇，热备盘等的冗余和热插拔，PC架构的iSCSI存储仅能实现电源，风扇，热备盘，缺少了最核心的控制器。

集中管理是指当一个系统有多台存储设备时，能否通过一台存储设备的管理窗口同时监控和管理多台设备。

在解释NAS存储之前，我们现解释一下什么是文件服务器。

假设在一个普通的办公网系统（工作站全部为windows操作系统）中，由于工作的需要，大家可能经常需要共享一部分文档、图片、资料或程序软件，为了实现共享，一般最简单地做法是找一台相对空闲的服务器或工作站，假设其名称为Server-A，Server-A本身安装了大容量硬盘，可以保存大量的文档或者文件。将需要共享的资源存储在server-A的某一个磁盘分区或目录中，如F盘或目录files，将F磁盘分区或目录files的属性设置为共享。根据办公网中用户的角色、职位等设置不同的访问权限。用户可以通过网络邻居找到Server-A和Server-A上共享的F磁盘分区或目录files，继而找到所需要的资源。

这时我们称Server-A是这个办公网系统的文件服务器，它可为系统中所有的客户端工作站提供文件共享访问服务器。

通过文件服务器来实现资源共享是一个非常方便、容易实现的方式，不过由于采用了普通的windows操作系统系统和NTFS文件系统，Server-A对用户的访问权限管理、容量配额、数据安全保护功能也处于一个相对简单的阶段，数据的传输效率也相对较低。

我们可以对文件服务器Server-A进行改造，去除或减少系统中与文件存储、文件管理无关的组件、功能、服务或软件，加强系统对磁盘、文件系统、数据安全方面的功能，设置完善的用户访问权限、容量空间配额，增加强大的数据安全保护功能，如快照、卷复制、卷镜像等功能，增加统一的系统管理、配置和系统状态监控软件。

在硬件方面，采用专业设计的服务器机箱、采用高性能的CPU、内存和主板，增加冗余电源、冗余风扇等模块化零部件，消除系统的单点故障；增加硬盘数量，通过RAID卡实现硬盘之间的数据容错和访问性能，也可以在文件服务器Server-A后端直接连接一台SCSI存储或FC存储设备来增加Server-A的可用容量。

这个时候的文件服务器就变成了我们常说的NAS存储。那么什么是NAS存储，简单的说NAS存储就是基于专用硬件设备上的、安装特殊操作系统、具有强大用户访问权限管理功能、数据安全保护和恢复功能的文件服务器。

微软推出的WSS（Windows Storage Server）NAS操作系统实际上就是Windows 2003操作系统的简化版，去除了很多与数据存储无关的功能，加强了用户访问权限管理、容量空间配额管理和数据安全保护功能。WSS可以安装在普通的PC服务器上，从而把一个普通的PC服务器当成NAS设备来使用。但实质上与普通操作系统并没有较大的区别，我们可以想使用普通windows 2003操作系统一样来使用WSS。

市场上很常见的很多低端NAS存储设备都是采用WSS操作系统，具有安装、调试和维护简单、系统结构简单，功能简单和购置成本地等诸多优势，是中小企业用户系统的首选NAS存储设备。

当然真正的中高端以上NAS存储设备在结构上要比普通的文件服务器要复杂的多，在软件功能方面也要比普通的文件服务器强大很多。下一节中我们将详细论述NAS服务器的结构和功能。

iSCSI设备的主机接口一般默认都是IP接口，可以直接与以太网络交换机和iSCSI交换机连接，形成一个存储区域网络。根据主机端HBA卡、网络交换机的不同，iSCSI设备与主机之间有三种连接方式。

 第一种：以太网卡+initiator软件方式。

服务器、工作站等主机使用标准的以太网卡，通过以太网线直接与以太网交换机连接，iSCSI存储也通过以太网线连接到以太网交换机上，或直接连接到主机的以太网卡上。在主机上安装Initiator软件。

安装Initiator软件后，Initiator软件可以将以太网卡虚拟为iSCSI卡，接受和发送iSCSI数据报文，从而实现主机和iSCSI设备之间的iSCSI协议和TCP/IP协议传输功能。

这种方式由于采用普通的标准以太网卡和以太网交换机，无需额外配置适配器，因此硬件成本最低。缺点是进行ISCSI包文和TCP/IP包文转换要点主机端的一部分资源。不过在低I/O和低带宽性能要求的应用环境中和完全满足数据访问要求。

目前很多最新版本的常用操作系统都提供免费的Initiator软件，建立一个存储系统除了存储设备本身外，基本上不需要投入更多的资金来，因此在三种系统连接方式中其建设成本是最低的。

第二种：硬件TOE网卡+initiator软件方式。

第一种方式由于采用普通以太网卡和以太网交换机，无需额外配置适配器，或专用的网络设备，因此硬件成本最低。但由于进行ISCSI包文和TCP/IP包文的打包和解包全部需要主机主处理器CPU来进行运算，数据传输率直接受到主机当前运行状态和可用资源的影响和限制，因此一般无法提供高带宽和高IOPS性能。

具有TOE（TCP Offload Engine）功能的智能以太网卡可以将网络数据流量的处理工作全部转到网卡上的集成硬件中进行，把系统主处理器CPU从忙于协议处理的繁重的内核中断服务中解脱出来，主机只承担TCP/IP控制信息的处理任务。

与第一种方式相比，采用TOE卡可以大幅度提高数据的传输速率。TCP/IP协议栈功能由TOE卡完成，而iSCSI层的功能仍旧由主机来完成。

由于TOE卡也采用TCP/IP协议，相当于一块高性能的以太网卡，所以第二种方式也可以看做是第一种连接方式的特殊情况。

第三种是iSCSI HBA卡+iSCSI交换机方式。

在主机上安装专业的iSCSI HBA适配卡，从而实现主机与交换机之间、主机与存储之间的高效数据交换。

与前两种方式相比，第三种连接方式中采用了iSCSI HBA卡，因此数据传输性能最好，价格也最高。

后两种方式都需要在主机上安装专门的硬件板卡，由于目前TOE网卡和iSCSI HBA的市场价格都比较贵。如果网络中主机数量比较多，那么网络总资金投入不见得会比FC-SAN存储系统低很多，网络的带宽和性能却相比FC-SAN存储系统差了很多。

有的读者可能会问，为什么这三种方式中都没有采用iSCSI交换机？

实际上，我们能在市场上看到的iSCSI交换机都不是真正意义上交换机，所谓的iSCSI交换机应该称之为iSCSI协议转换器、或者iSCSI桥接器。一部分端口用来连接主机的iSCSI HBA卡，另一部分端口用来连接FC存储或SCSI存储，只能实现存储设备与主机之间的FC-iSCSI（或SCSI-iSCSI）协议连接，不能实现iSCSI-iSCSI协议连接，其工作方式完全不同于以太网交换机或FC交换机那样，实现某一个协议内的互联互通。

因此iSCSI交换机一般都用作iSCSI存储内的控制器，而不是iSCSI存储与主机之间网络连接设备。

实际上当我们对iSCSI设备的结构进行深入的研究时就会发现iSCSI从架构上可以分为4种类型的架构。

一、控制器系统架构

iSCSI的核心处理单元采用与FC光纤存储设备相同的结构。即采用专用的数据传输芯片、专用的RAID数据校验芯片、专用的高性能cache缓存和专用的嵌入式系统平台。打开设备机箱时可以看到iSCSI设备内部采用无线缆的背板结构，所有部件与背板之间通过标准或非标准的插槽链接在一起，而不是普通PC中的多种不同型号和规格的线缆链接。

这种类型的iSCSI存储设备核心处理单元采用高性能的硬件处理芯片，每个芯片功能单一，因此处理效率较高。操作系统是嵌入式设计，与其他类型的操作系统相比，嵌入式操作系统具有体积小、高稳定性、强实时性、固化代码以及操作方便简单等特点。因此控制器架构的iSCSI存储设备具有较高的安全性和和稳定性。

控制器架构iSCSI存储内部基于无线缆的背板链接方式，完全消除了链接上的单点故障，因此系统更安全，性能更稳定。一般可用于对性能的稳定性和高可用性具有较高要求的在线存储系统，比如：中小型数据库系统，大型数据的库备份系统，远程容灾系统，网站、电力或非线性编辑制作网等。

控制器架构的iSCSI设备由于核心处理器全部采用硬件，制造成本较高，因此一般销售价格较高。

目前市场还可以见到一种特殊的基于控制器架构的ISCSI存储设备。该类存储设备是在现有FC存储设备的基础上扩充或者增加ISCSI协议转换模块，使得FC存储设备可以支持FC数据传输协议和ISCSI传输协议，如EMC 150i/300i/500i 等。

常见控制器架构ISCSI产品：

1、Equlogic PS300E系列产品图片：

2、Infortrend EonStor A16E产品图片：

3、UIT BS2000e/3000e产品图片：

   区分一个设备是否是控制器架构，可从以下几个方面去考虑：

1、是否双控：除了一些早期型号或低端型号外，高性能的iSCSI存储一般都会采用active-active的双控制器工作方式。控制器为模块化设计，并安装在同一个机箱内，非两个独立机箱的控制器。

2、缓存：有双控制器缓存镜像、缓存断电保护功能。

3、数据校验：采用专用硬件校验和数据传输芯片，非依靠普通CPU的软件校验，或普通RAID卡。

4、内部结构：打开控制器架构的设备，内部全部为无线缆的背板式连接方式，各硬件模块连接在背板的各个插槽上。

二、iSCSI连接桥系统架构

整个iSCSI存储分为两个部分，一个部分是前端协议转换设备，另一部分是后端存储。结构上类似NAS网关及其后端存储设备。

前端协议转换部分一般为硬件设备，主机接口为千兆以太网接口，磁盘接口一般为SCSI接口或FC接口，可连接SCSI磁盘阵列和FC存储设备。通过千兆以太网主机接口对外提供ISCSI数据传输协议。

后端存储一般采用SCSI磁盘阵列和FC存储设备，将SCSI磁盘阵列和FC存储设备的主机接口直接连接到iSCSI桥的磁盘接口上。

iSCSI连接桥设备本身只有协议转换功能，没有RAID校验和快照、卷复制等功能。创建RAID组、创建LUN等操作必须在存储设备上完成，存储设备有什么功能，整个iSCSI设备就具有什么样的功能。

SANRAD的V-Switch系列，ATTO Technology的iPBridge系列的iSCSI桥接器，提供iSCSI-to-SCSI与iSCSI-to-FC 的桥接，可将直连的磁盘阵列柜(Disk Array，JBOD、DAS)或磁带设备(Autoloader、Tape Library)转变成iSCSI存储设备。

不过随着iSCSI技术的逐渐成熟，连接桥架构的iSCSI设备越来越少，目前的市场上基本已看不到这样的产品了。

三、PC系统架构

那么何谓PC架构？按字面的意思可以理解为存储设备建立在PC服务器的基础上。即就是选择一个普通的、性能优良的、可支持多块磁盘的PC（一般为PC服务器和工控服务器），选择一款相对成熟稳定的iSCSI target软件，将iSCSI Target软件安装在PC服务器上，使普通的PC服务器转变成一台iSCSI存储设备，并通过PC服务器的以太网卡对外提供iSCSI数据传输协议。

目前常见的iSCSI Target软件多半由商业软件厂商提供，如DataCore Software的SANmelody，FalconStor Software的iSCSI Server for Windows，和String Bean Software的WinTarget等。这软件都只能运行在Windows操作系统平台上。

在PC架构的iSCSI存储设备上，所有的RAID组校验、逻辑卷管理、iSCSI 运算、TCP/IP 运算等都是以纯软件方式实现，因此对PC的CPU和内存的性能要求较高。另外iSCSI存储设备的性能极容易收PC服务器运行状态的影响。

当由于PC架构iSCSI存储设备的研发、生产、安装使用相对简单，硬件和软件成本相对较低，因此市场上常见的基于PC架构的iSCSI设备的价格都比较低，在一些对性能稳定性要求较低的系统中具有较大的价格优势。

常见PC架构iSCSI存储设备：

1、INTEL SSR212CC iSCSI产品图片：

2、H3C EX1000 iSCSI产品图片：

3、HP MSA1510i iSCSI产品图片：

四、PC+NIC系统架构

PC+iSCSI Target软件方式是一种低价低效比的解决方案，另外还有一种基于PC+NIC的高阶高效性iSCSI方案。

该方案是指在PC服务器中安装高性能的TOE智能NIC卡，将CPU资源较大的iSCSI运算、TCP/IP运算等数据传输操作转移到智能卡的硬件芯片上，由智能卡的专用硬件芯片来完成iSCSI运算、TCP/IP运算等，简化网络两端的内存数据交换程序，从而加速数据传输效率，降低PC的CPU占用，提高存储的性能。

目前Broadcom提出所谓的C-NIC(Converged NIC)聚合型网卡理念，即是在一颗NetXtreme II 系列的GbE控制芯片内同时具备TOE运算、iSCSI运算、I/O具备RDMA(Remote Direct Memory Access)运算，大幅卸除CPU的辅助运算，使CPU占用率降至20%以下。

Broadcom的代表性芯片为BCM5706(PCI/PCI-X 接口)与BCM5708S(PCIe 接口)，其中BCM5706 为第一代，BCM5708S 为第二代，第二代传输率从1Gbps 提升至2.5Gbps。第三代传输率从2.5Gbps 提升至10Gbps。

绿色存储技术涉及所有存储分享技术，包括磁盘和磁带系统，服务器连接，存储设备，网络架构以及其他存储网络架构，文件服务和存储应用软件，以及重复数据删除，自动精简配置和基于磁带的备份技术等可以提高存储利用率、降低建设成本和运行成本的存储技术，其目的是提高所有网络存储技术的能源效率。

在2007 SNW秋季大会上SNIA倡议了成立”SNIA绿色存储促进组织”（SNIA Green StorageInitiative），其成员括了3PAR、Brocade、COPAN、Dell、EMC、EqualLogic、Emulex、HDS、HP、Intransa、IBM、LSI、微软、NetApp、Sun等业界主流厂商。SINA绿色存储促进组织成立的目的，是为了促进能源效率以及厂商间的技术交流，以便更大程度上降低因为数据存储带来的环境影响。

SINA宣布该组织的工作范畴将涉及磁盘和磁带、光纤、文件服务、存储应用等广泛的存储基础架构。