<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>【存储部落】 &#187; IOPS</title>
	<atom:link href="http://www.sansky.net/article/tag/iops/feed" rel="self" type="application/rss+xml" />
	<link>http://www.sansky.net</link>
	<description>sansky的存储技术博客，内容涵盖存储解决方案、存储系统、存储硬件、存储软件、存储管理、存储安全、数据备份与恢复、数据保护、存储基础知识，为大家推荐各种存储产品、和存储技术、视频监控、广电、电信、政府、教育、医疗等行业存储系统解决方案，</description>
	<lastBuildDate>Sat, 31 Dec 2011 10:22:25 +0000</lastBuildDate>
	<language>zh-cn</language>
	<sy:updatePeriod>hourly</sy:updatePeriod>
	<sy:updateFrequency>1</sy:updateFrequency>
	<generator>http://wordpress.org/?v=3.3.1</generator>
		<item>
		<title>iSCSI存储技术全攻略答疑</title>
		<link>http://www.sansky.net/article/2007-12-04-iscsi-storage-questions-and-answer.html</link>
		<comments>http://www.sansky.net/article/2007-12-04-iscsi-storage-questions-and-answer.html#comments</comments>
		<pubDate>Tue, 04 Dec 2007 10:18:56 +0000</pubDate>
		<dc:creator>sansky</dc:creator>
				<category><![CDATA[存储技术]]></category>
		<category><![CDATA[存储控制器]]></category>
		<category><![CDATA[带宽]]></category>
		<category><![CDATA[CACHE]]></category>
		<category><![CDATA[IOPS]]></category>
		<category><![CDATA[ISCSI]]></category>

		<guid isPermaLink="false">http://www.sansky.net/article/2007-12-04-iscsi-storage-questions-and-answer.html</guid>
		<description><![CDATA[今天发现存储人论坛上的网友robinson针对我的文章iSCSI存储技术全攻略提出了几个问题，呵呵，先对他对我文章的认可表示感谢，否则他不会提出这些问题。 他提出的问题如下： 1、每秒最大I/O 100,000 IOPS －－－－－－－－－－－－》IO多大？ 回答： 存储端的IOPS性能和主机端的IO是不同的，IOPS是指存储... ]]></description>
			<content:encoded><![CDATA[<p>今天发现<a target="_blank" href="http://bbs.storren.net/" title="存储人论坛">存储人论坛</a>上的网友robinson针对我的文章<a target="_blank" href="http://www.sansky.net/article/2007-12-03-iscsi-storage.html" title="iSCSI存储技术全攻略">iSCSI存储技术全攻略</a>提出了几个问题，呵呵，先对他对我文章的认可表示感谢，否则他不会提出这些问题。</p>
<p>他提出的问题如下：</p>
<p>1、每秒最大I/O 100,000 <a href="http://www.sansky.net/article/tag/iops" class="st_tag internal_tag" rel="tag" title="标签 IOPS 下的日志">IOPS</a> －－－－－－－－－－－－》IO多大？</p>
<p>回答：<br />
存储端的IOPS性能和主机端的IO是不同的，IOPS是指存储每秒可接受多少次主机发出的访问，主机的一次IO需要多次访问存储才可以完成。例如，主机写入一个最小的数据块，也要经过“发送写入请求、写入数据、收到写入确认”等三个步骤，也就是3个存储端访问。</p>
<p>所以到底能支持多少个IO，要看业务系统类型和数据读写方式了。</p>
<p>2、每秒最大传输带宽 410MB/S －－－－－－－－》IO多大，IOPS多少测试得到的值？</p>
<p>回答：<br />
IOPS * BLOCK SIZE=<a href="http://www.sansky.net/article/tag/bandwidth" class="st_tag internal_tag" rel="tag" title="标签 带宽 下的日志">带宽</a> 所以IOPS越高，带宽肯定越大，当然存储的价格也越贵。</p>
<p>一般地在小文件应用类系统中，设置BLOCKSIZE为4K，16K，最大32k，测试的目标是高IOPS，但带宽比较低<br />
在大文件应用系统中，设置BLOCKSIZE为512K,1024K，4096K, 测试的目标是高IOPS，但IOPS性能比较低。</p>
<p>3、控制器 双Active-Active SAS/SATA控制器 －－－－》双空是怎么工作的呢？</p>
<p>回答：<br />
一般都是双控制管不同的卷、两个控制器之间实现缓存，与FC设备的工作方式相同</p>
<p>4、缓存模式 Write-through, write-back, adaptive write －－－－》</p>
<p>回答：<br />
存储的一般数据写入方式是：主机通过连接设备将数据传到存储的控制器，先写入控制器的高速缓存，然后返回主机一个写入成功的指令，有主机去执行下一个操作。控制器的缓存在后台将数据写入磁盘。这种方式就叫做write-back。</p>
<p>Write-through：数据直接写入磁盘，不写入控制器的缓存。</p>
<p>read-ahead：缓存预读功能，存储设备可以将要读写的数据预先读入高速缓存，方便主机的方式。</p>
<p>存储设备的缓存一般都知道不同的容量给read-ahead和write-back，两者的容量有的存储需要在创建RAID组时制定比例或容量大小，有点存储则不需要，它可以根据当前访问的特点自动分配，那么这种自动分配的功能就称之为adaptive write。</p>
<p>5、控制器缓存 2GB ECC 缓存, 带72小时电池备份 －－－－－－》电池备份干什么用的？</p>
<p>回答：<br />
write-back功能虽然可以大幅度提高数据写入的性能，但也使用数据写入的过程变得不安全。<br />
假设在正常的数据写入过程中，一部分数据已经写入磁盘，主机端也收到了写入成功的指令，但数据实际上还在缓存中，还没有写入磁盘。这时一旦机房供电系统发生故障，存储系统整体掉电，缓存中的数据就会丢失，这样就会造成存储中的数据和主机端的记录不一致。对于数据库系统来讲，数据库宕机后无法启动的最多原因就是因为数据不一致。因此，数据库备份、容灾等系统的核心工作就是保证数据的一致性。</p>
<p>缓存电池保护的功能就是在外部系统整体断电时，还能通过控制器上的电池（一般都是大容量纽扣电池）继续为缓存供电，保证缓存中未写入磁盘的数据不会丢失，并能在供电系统恢复后自动将缓存中的数据写入磁盘。</p>
<p>这个功能对于那些数据库类的结构化数据应用系统，数据不可重现的小文件应用类系统是非常重要的。</p>
<p>6、RAID校验 采用ASIC硬件校验 －－－－－－－－》ASIC硬件校验，XOR硬件做的？</p>
<p>ASIC硬件校验就是硬件的XOR校验</p>
]]></content:encoded>
			<wfw:commentRss>http://www.sansky.net/article/2007-12-04-iscsi-storage-questions-and-answer.html/feed</wfw:commentRss>
		<slash:comments>2</slash:comments>
		</item>
		<item>
		<title>视频监控存储系统设计-在线答疑问题总汇</title>
		<link>http://www.sansky.net/article/2007-09-05-video-surveillance.html</link>
		<comments>http://www.sansky.net/article/2007-09-05-video-surveillance.html#comments</comments>
		<pubDate>Wed, 05 Sep 2007 15:21:50 +0000</pubDate>
		<dc:creator>sansky</dc:creator>
				<category><![CDATA[存储技术]]></category>
		<category><![CDATA[带宽]]></category>
		<category><![CDATA[编码器]]></category>
		<category><![CDATA[网络视频]]></category>
		<category><![CDATA[解决方案]]></category>
		<category><![CDATA[视频]]></category>
		<category><![CDATA[视频监控]]></category>
		<category><![CDATA[FC-SATA]]></category>
		<category><![CDATA[IOPS]]></category>
		<category><![CDATA[IP存储]]></category>
		<category><![CDATA[ISCSI]]></category>
		<category><![CDATA[摄像头]]></category>

		<guid isPermaLink="false">http://www.sansky.net/html/2007-09-05-1354.html</guid>
		<description><![CDATA[问： 你好，我的朋友做一个小区的安防系统，我代他问下，他们小区大概80多个监控摄像头，大概需要多少容量的存储设备 Sansky： 考虑容量的大小，除了与摄像头数量有关外，还与视频的格式，码率，存储的天数有关。存储系统容量的计算方法如下： 假设视频的格式为D1,码率为2Mb/s。单路视频每天存... ]]></description>
			<content:encoded><![CDATA[<p>问：</p>
<p>你好，我的朋友做一个小区的安防系统，我代他问下，他们小区大概80多个监控摄像头，大概需要多少容量的存储设备</p>
<p>Sansky：</p>
<p>考虑容量的大小，除了与摄像头数量有关外，还与视频的格式，<a href="http://www.sansky.net/article/tag/%e7%a0%81%e7%8e%87" class="st_tag internal_tag" rel="tag" title="标签 码率 下的日志">码率</a>，存储的天数有关。存储系统容量的计算方法如下：</p>
<p>假设视频的格式为D1,码率为2Mb/s。单路视频每天存储容量为：1路*（2Mb/s*3600s）/8bit*24小时 =21GB。单路视频每月存储容量为：1路*（2Mb/s*3600s）/8bit*24小时*30天=648GB。</p>
<p>摄像头数量、码率、存储时间可根据实际情况来选择。<span id="more-1354"></span></p>
<p>问：</p>
<p>现在很多视频行业的解决方案都用的IP 存储，但是现在IP存储会不会有一些安全性和性能方面的问题啊？</p>
<p>Sansky：</p>
<p>视频监控系统是一个相对特殊的系统，主要要求大容量和成本，否则根本没有那么大的资金去建立遍布全市，甚至于全国的监控系统。因此选择大容量低成本的IP存储是监控系统本身的特点和需求决定的。</p>
<p>问：</p>
<p>问一下，一般所说的视频监控主要都包括具体的哪些应用阿</p>
<p>Sansky：</p>
<p>呵呵，应用的范围和场所很多，比如：</p>
<p>银行系统&#8212;&#8211;各营业网点及ATM机远程监控<br />
石油系统&#8212;&#8211;危险环境、分散工作点的图像传输<br />
公共安全&#8212;&#8211;网吧、娱乐场所、重点公众场所监控<br />
公路交通&#8212;&#8211;高速公路各出入口的收费情况及收费站的图像传输<br />
质 检&#8212;&#8211;全国港口、码头及生产企业实现视频监控，对报关、检验和生产环节进行非现场监控，提高工作效率和工作满意度<br />
家庭监控&#8212;&#8211;提供家庭安防、保姆监看、儿童监看等功能<br />
环境监测&#8212;&#8211;旅游景点图像的实时发布、分散的环保点图像传输<br />
电力系统&#8212;&#8211;无人值守电站的监视<br />
教育系统&#8212;&#8211;远程教学、家教服务、幼儿园等家人关心的图像实时传输<br />
海关系统&#8212;&#8211;重点地区的24小时监控<br />
连锁系统&#8212;&#8211;公司管理层提高管理效率的全新工具、安全防范<br />
个人用户&#8212;&#8211;宝宝在线，幼儿园监控，可以看到宝宝的娱乐饮食等情</p>
<p>问：</p>
<p>请问城市监控系统，比如北京市吧，估计要有上10w个摄像头吧？我想问一下这些摄像头的拓扑，是不是每个区域先集中起来，然后统一上传到中心存储上？还是每个摄像头直接和中心存储有一路连接？就算分布式集中的方式，对存储的并发也有要求吧？</p>
<p>Sansky：</p>
<p>各个区域是否集中，怎么集中？很多时候和一个城市的行政划分有关，一个城市的区域大小和可用的网络状况有关。城市越小，网络条件越好，越容易实现集中存储。反之就越需要进行分布式存储。</p>
<p>北京有8个区。建立视频监控系统时，可以每个区域先集中，再汇聚到总中心，如应急指挥中心。</p>
<p>问：</p>
<p>对于视频监控来说，分布式和集中式存储，那种更好一点？</p>
<p>Sansky：</p>
<p>集中存储的优缺点：</p>
<p>1、物理介质集中布放；</p>
<p>2、视频流上传到中心平台，对骨干网带宽要求高；</p>
<p>3、大容量的存储需求，需要购买高端的存储产品，设备价格和维护成本高；</p>
<p>4、对机房环境要求高，要求机房空间大，承重、空调等都是需要考虑的问题。</p>
<p>分布存储，集中管理的优缺点：</p>
<p>1、物理介质分布到不同的地理位置；</p>
<p>2、视频流就近上传，对骨干网带宽没有什么要求；</p>
<p>3、可采用多套低端的小容量的存储设备分布部署，设备价格和维护成本较低；</p>
<p>4、小容量设备分布部署，对机房环境要求低。</p>
<p>问：</p>
<p>能谈一下如果需要提高整个视频监控系统的稳定性，需要注意哪些方面？不仅仅是存储方面，有些地方需要7*24小时监控的？</p>
<p>Sansky</p>
<p>1、采用性能稳定的数字摄像头，高效的视频压缩效果，在不影响图像质量的情况下，尽享减小视频的码率。</p>
<p>2、稳定有效的网络，是所有数据能够正常写入存储的前提，</p>
<p>3、大容量、稳定的存储设备</p>
<p>4、面向视频对象的管理系统，可根据实际需求设定图像文件的存储策略和数据迁移策略（如果有磁带库等数据备份设备的话）</p>
<p>问：</p>
<p>城市监控，录像的数据最后都是以视频文件比如mpg格式存放在视频服务器上吧？是不是由视频服务器收集各路摄像头的数据，编码成mpg文件，然后放到存储上？</p>
<p>Sansky：</p>
<p>你说的这种方式属于第2代和2。5代的监控系统工作方式，在第3代系统中一般都是由数字摄像头或编码器直接输出MPEG4或者H.264编码的文件。</p>
<p>有关视频监控系统发展的内容请看：<a href="http://www.sansky.net/html/2007-08-31-1315.html">http://www.sansky.net/html/2007-08-31-1315.html</a></p>
<p>问：</p>
<p>现在做视频监控，一般都用哪种视频压缩格式？一般采用多少的压缩比？能达到多少分辨率？</p>
<p>Sansky：</p>
<p>网通宽世界技术规范：</p>
<p>1、视频压缩采用MPEG4/H.264标准。</p>
<p>2、音频压缩采用G.711/G.723.1/G.729/MP3标准。</p>
<p>电信全球眼技术规范：</p>
<p>1、视频编码格式：支持H.264或MPEG-4；</p>
<p>2、音频编码格式：支持以下任何一种：G.711、G.722、G.723.1、G.728、G.729、MP3；</p>
<p>3、图像分辨率应支持CIF到D1/4CIF可调；视频编码支持定码率和可变码率，实时码流可调节(如D1在768k至2M)；</p>
<p>问：</p>
<p>我们公司正在做产品选型，请问专家视频应用存储采购需要注意哪些问题吗？</p>
<p>Sansky：</p>
<p>因为监控是一个视频应用类系统，具有和其它系统不同的访问特点：</p>
<p>1、以流媒体方式对存储设备进行访问</p>
<p>2、多路视频长时间同时写入同一个存储</p>
<p>3、实时多路视频访问同一个文件</p>
<p>4、视频访问带宽恒定</p>
<p>5、带宽稳定性要求高，为1/25秒的平均值</p>
<p>6、视频访问时间长</p>
<p>7、容量需求巨大，存储扩展性能高</p>
<p>因此的设备选型时，不一定非要选带宽最大的，而要选择带宽波动最小的，曲线最平稳的。因为要长时间运行，最好在用控制器架构的存储设备，不要选择PC架构的，选择容量可以扩张的设备。</p>
<p>另外，在超过100TB容量的情况下，<a href="http://www.sansky.net/article/tag/fc" class="st_tag internal_tag" rel="tag" title="标签 FC 下的日志">FC</a>-sata设备的价格不一定就比ISCSI设备贵。FC支持的磁盘数量多，ISCSI设备一般支持的数量少，假设容量要求为500TB，<a href="http://www.sansky.net/article/tag/fc" class="st_tag internal_tag" rel="tag" title="标签 FC 下的日志">FC</a>-sata只需要一套就可以，而ISCSI设备就需要很多到才行，仅仅ISCSI设备的控制器部门的费用就是很大一块。</p>
<p>视频监控系统首先是一个视频应用系统，因为存储设备要能够提供稳定的带宽输出，满足长时间视频读写的要求，</p>
<p>其次，视频监控系统既要满足大量摄像头的实时数据写入，和要满足大量监控端的视频回放需求，因此，还要考虑存储系统可以提供足够的IOPS性能。</p>
<p>由于视频监控系统一般遍布全市甚至全国，因此存储设备还要考虑是否可以实现物理上分散，但管理和监控上可以统一的功能。</p>
<p>问：</p>
<p>视频监控的存储对备份环境有什么要求么？</p>
<p>Sansky：</p>
<p>没有特殊的要求。按常规监控系统的数据基本上都是临时性，超过在线存储时间（如7天、15天，个别会要求30天）后，就可以删除了，因此监控系统的备份很多时候只要能满足一个月就可以了。当然特殊用户的要求特别对待。</p>
<p>问：</p>
<p>现在视频监控火主要是因为平安工程，创新科这边做的应该不错吧</p>
<p>Sansky：</p>
<p>呵呵，UIT与多家大型电信集成商签定了监控系统和IPTV存储设备唯一供应商合同，很快大家就会看到UIT的存储设备会遍布全国的视频监控系统中。</p>
<p>问：</p>
<p>创新科用的啥产品啊？</p>
<p>Sansky：</p>
<p>UIT的推荐产品iscsi：BS1000E, BS3000E, FC：BM690 BM3800B</p>
<p>详细的产品介绍大家可以访问UIT 网站<a href="http://www.uit.com.cn">www.uit.com.cn</a> ,访问我的博客也可以。</p>
<p>问：</p>
<p>你们做过平安工程那么多案例，能不能介绍下，平按工程的招标的大致流程？</p>
<p>Sansky：</p>
<p>呵呵，UIT一般只和集成商合作，是集成商最坚实的合作伙伴，不会直接参与投标，与集成商竞争。</p>
<p>问：</p>
<p>非常感谢您，看您的博客说您有书要出版，什么时候会出呢？</p>
<p>Sansky：</p>
<p>呵呵，正在写，但由于平时工作忙，再者写的内容主要是系统设计方面，非大家常见的纯理论，因此需要收集的资料很多，再加上我本身水平有限，所以要完成可能还有一段时间。</p>
<p>不过初稿我一般都会在博客公布，希望大家经常去我的博客看看。</p>
<p>问：</p>
<p>我们是一个视频网站，包含直播和点播，直播是采用p2p技术，我们对于视频都是要求保存的。目前我们是同时在线人数能够达到5000人左右，除了服务器的压力外，对于存储的容量有没有什么要求？目前我们基本上1 &#8230;</p>
<p>Sansky：</p>
<p><a href="http://www.sansky.net/article/tag/%e7%bd%91%e7%bb%9c%e8%a7%86%e9%a2%91" class="st_tag internal_tag" rel="tag" title="标签 网络视频 下的日志">网络视频</a>、IPTV、VOD点播和视频监控一样都属于视频应用类系统，但由于网络视频系统的码率一般相对较小，大约为100Kb/S-200Kb/s左右，因此对带宽要求相对较小。需要在线播放的用户很多，因此一般来将存储设备的IOPS性能要求很高，</p>
<p>一般网站机房的总带宽一般都在1-2Gb/s（实际可用的带宽）左右，个别大型网站可能达到4-5Gb/s。能分配给网络视频板块的也就差不多100-200MB/S，因此对于带宽来讲一般的ISCSI存储和FC存储都可以轻松满足，但如果采用NAS存储，则需要中高端产品。</p>
<p>虽然采用高端NAS设备的成本较高，但NAS本身对外提供共享的文件系统，在网络视频的管理和共享方面区有天然的优势，方便后期的视频服务器数量扩张和升级。ISCSI和中低端的FC设备由于采用低成本的SATA磁盘，IOPS新能一般都在6w-10w左右，因此无法用与大型的网络视频系统。</p>
<p>建议网络视频系统选型是要从带宽和IOPS两个方面去考虑，在两个方面都满足的情况，尽量采用NAS产品。大型系统建议采用FC磁盘的光纤设备。</p>
<p>如果系统有一个好的视频管理系统和分发软件系统的话，可以采用小容量的高性能存储作为在线存储为用户提高实时访问，再采用一台低成本的ISCSI或NAS设备作为二级存储。</p>
]]></content:encoded>
			<wfw:commentRss>http://www.sansky.net/article/2007-09-05-video-surveillance.html/feed</wfw:commentRss>
		<slash:comments>8</slash:comments>
		</item>
		<item>
		<title>提问：城市视频监控的存储选型</title>
		<link>http://www.sansky.net/article/2007-08-06-question-city-video-surveillance-storage-selection.html</link>
		<comments>http://www.sansky.net/article/2007-08-06-question-city-video-surveillance-storage-selection.html#comments</comments>
		<pubDate>Mon, 06 Aug 2007 02:17:10 +0000</pubDate>
		<dc:creator>sansky</dc:creator>
				<category><![CDATA[存储技术]]></category>
		<category><![CDATA[带宽]]></category>
		<category><![CDATA[网络存储]]></category>
		<category><![CDATA[DAS]]></category>
		<category><![CDATA[DISK]]></category>
		<category><![CDATA[视频监控]]></category>
		<category><![CDATA[IOPS]]></category>
		<category><![CDATA[RAID]]></category>
		<category><![CDATA[SCSI]]></category>
		<category><![CDATA[摄像头]]></category>

		<guid isPermaLink="false">http://www.sansky.net/html/2007-08-06-1256.html</guid>
		<description><![CDATA[网友： 请问各位：关于城市监控的视频存储该如何选择？ 需求： 1、城市内的道路监控，纯视频数据。 2、需要中心集中存储，提供给各级查询终端进行录像回放。 3、需要14*300G的容量，raid5 那么，需要配置什么设备？ 有人推荐dell 的CX300，有的说IBM 的 EXP400。怎么选？ 我是菜鸟，别鄙视 SANSKY: LZ的系... ]]></description>
			<content:encoded><![CDATA[<p>网友：</p>
<p>请问各位：关于城市监控的视频存储该如何选择？</p>
<p>需求：</p>
<p>1、城市内的道路监控，纯视频数据。</p>
<p>2、需要中心集中存储，提供给各级查询终端进行录像回放。</p>
<p>3、需要14*300G的容量，<a href="http://www.sansky.net/article/tag/raid" class="st_tag internal_tag" rel="tag" title="标签 RAID 下的日志">raid</a>5<span id="more-1256"></span></p>
<p>那么，需要配置什么设备？</p>
<p>有人推荐dell 的CX300，有的说IBM 的 EXP400。怎么选？</p>
<p>我是菜鸟，别鄙视</p>
<p>SANSKY:</p>
<p>LZ的系统是一个典型小型视频监控系统存储需求，前端的摄像头数量一般都为30个以下，存储容量相对较小，对IOPS和带宽基本上没什么要求，因为差不多是存储都可以满足，这类系统一般都以价格为最主要的考虑因素。</p>
<p>这样的系统里采用DAS直接连接方式的SCSI盘阵很最安全，最稳定的，性价比最高的方案。SCSI盘阵直接连在回放服务器后端就行。</p>
<p>要想再便宜，回放服务器可以选择可安装12块以上磁盘的机箱，或采用SATA或SAS接口的磁盘扩展箱，用RAID卡来实现RAID功能。要想更便宜，还可以不用RAID卡，由服务器来是想RAID功能。呵呵，最便宜的方式是不采用RAID，还可以节省一块磁盘，以前很多DVR就没有RAID功能。但这几种方式安全性和稳定行相对较差、数据容易丢失，同时对回放服务器的配置有较高的要求。</p>
]]></content:encoded>
			<wfw:commentRss>http://www.sansky.net/article/2007-08-06-question-city-video-surveillance-storage-selection.html/feed</wfw:commentRss>
		<slash:comments>6</slash:comments>
		</item>
		<item>
		<title>FC存储设备</title>
		<link>http://www.sansky.net/article/2007-07-05-storage-system-design-2.html</link>
		<comments>http://www.sansky.net/article/2007-07-05-storage-system-design-2.html#comments</comments>
		<pubDate>Wed, 04 Jul 2007 18:18:11 +0000</pubDate>
		<dc:creator>sansky</dc:creator>
				<category><![CDATA[存储技术]]></category>
		<category><![CDATA[精华推荐]]></category>
		<category><![CDATA[协议]]></category>
		<category><![CDATA[存储设计指南]]></category>
		<category><![CDATA[存储控制器]]></category>
		<category><![CDATA[光纤通道]]></category>
		<category><![CDATA[EMC]]></category>
		<category><![CDATA[FC]]></category>
		<category><![CDATA[HDS]]></category>
		<category><![CDATA[IOPS]]></category>
		<category><![CDATA[ISCSI]]></category>
		<category><![CDATA[S2A]]></category>
		<category><![CDATA[SAN]]></category>

		<guid isPermaLink="false">http://www.sansky.net/html/2007-07-05-1119.html</guid>
		<description><![CDATA[FC存储设备 在上一节中,采用SCSI传输协议和接口协议的设备被称为SCSI存储，同样地，采用FCIP（即光纤通道接口协议的）的设备被称为FC存储或光纤通道存储。FC与SCSI一样，都是一种数据传输协议和接口协议。 FC存储和SAN是两个完全不同的概念，只不过FC存储产品从一开始诞生之日其就和SAN网络紧密地联... ]]></description>
			<content:encoded><![CDATA[<h5>FC存储设备</h5>
<p>在上一节中,采用SCSI传输协议和接口协议的设备被称为SCSI存储，同样地，采用FCIP（即光纤通道接口协议的）的设备被称为FC存储或光纤通道存储。FC与SCSI一样，都是一种数据传输协议和接口协议。</p>
<p>FC存储和SAN是两个完全不同的概念，只不过FC存储产品从一开始诞生之日其就和SAN网络紧密地联系在一起，凡是采用FC存储的系统都会采用FC交换机组成的SAN网络。因此很多人经常会把FC存储直接称之为SAN存储，就如同现在很多人把ISCSI存储也成为IP-SAN存储一样。无论怎么样的称呼，我们一定要清楚地知道FC存储这个概念指的是一种存储设备类型，SAN这个概念指的是一种网络结构。<span id="more-1119"></span></p>
<p>在大家的印象中，FC存储一直是高端存储的代名词。它通过高效的光纤通道传输协议，高效稳定的控制器，和功能丰富强大的数据保护及备份功能，为高端、关键应用业务系统提供数据存储服务。FC存储之所以能够成为高端实际上是与其内部结构直接相关的，高效和强大的结构设计决定了FC存储的高性能。</p>
<p>存储设备是为各种不同的业务系统提高数据存储和读写访问服务的。业务系统有的要求高IOPS性能的，如银行电信在线计费系统的大型数据库存储；有的要求存储设备可以对外提高大带宽，如广电行业非线性编辑制作系统的在线存储；有的系统要求存储设备具有超大容量，可以满足系统的大容量存储，如视频监控系统的存储设备；而有的系统要求存储设备具有非常强大的数据备份、远程容灾功能，如各大数据中心的备份系统和远程容灾系统。</p>
<p>存储设备是以满足业务系统的需求为设计目标的。存储设备的设计的方向和实现的目标不同，其所能使用的业务系统类型也不同。如EMC Symmetrix系列、IBM Shark 系列和HDS USP系列等存储设备的开发目标是为了实现高IOPS性能，因此这些产品使用因银行电信行业的帐、计费等在线关键业务。DDN S2A的设计目标是实现稳定的高带宽性能，因此它使用于石油气象行业的大型高性能计算系统，或广电行业的大型高清和标清非线性编辑制作系统。不同开发目标的存储产品有着不同的最佳使用环境。凡是能最佳地满足某一类系统的存储需求，就是该类型系统中的高端存储。</p>
<p>一般地，大家都是以IOPS性能的大小来划分存储设备的档次。I/O性能超过1000000IOPS的一般都称为高端存储，高端存储的主机端一般用来连接多CPU服务器或小型机。I/O性能小于1000000<a href="http://www.sansky.net/article/tag/iops" class="st_tag internal_tag" rel="tag" title="标签 IOPS 下的日志">IOPS</a>，大于250000IOPS的一般都称为中端存储，中端存储的主机端一般用来连接高性能服务器。I/O性能小于1000000IOPS的一般成为低端存储，低端存储的主机端一般连接普通服务器或工作站。</p>
<p>另一种方法是按照存储设备中控制器的数量和冗余结构划分存储档次的，如下图。</p>
<p><img src="http://www.sansky.net/wp-content/2007/07/windowslivewriter7fc-205bclip-image002.jpg" alt="" width="446" height="264" /></p>
<p>图1.1.1.1 <a href="http://www.sansky.net/article/tag/emc" class="st_tag internal_tag" rel="tag" title="标签 EMC 下的日志">EMC</a> Symmetrix系列产品内部结构图</p>
<p>从上图可知，随着存储设备的档次越高，控制器数据量越多，结构越复杂，存储系统的性能、安全性、可扩张性等越高，存储设备的成本也越高。</p>
<p>下面几张图是常见高端存储、中端存储内部结构及功能模块图。</p>
<p><img src="http://www.sansky.net/wp-content/2007/07/windowslivewriter7fc-205bclip-image004.jpg" alt="" width="578" height="382" /></p>
<p>图1.1.1.2 EMC Symmetrix系列产品内部结构图</p>
<p>高端存储为了实现高IOPS性能，其内部一般都会配置大容量高速缓存，依靠大容量缓存来实现大量小数据块、小文件的高速读写。同时前端和后端分别提高32个，甚至64个以上主机接口和磁盘接口。数据先写入大容量高速缓冲，再由控制器通过多个磁盘端口并行写入后端高速磁盘。</p>
<p>为了保证后端磁盘的数据写入性能，高端存储一般会采用大量高速15000rpm的光纤通道磁盘。</p>
]]></content:encoded>
			<wfw:commentRss>http://www.sansky.net/article/2007-07-05-storage-system-design-2.html/feed</wfw:commentRss>
		<slash:comments>4</slash:comments>
		</item>
		<item>
		<title>IO测试软件&#8211;orion</title>
		<link>http://www.sansky.net/article/2007-07-01-orion.html</link>
		<comments>http://www.sansky.net/article/2007-07-01-orion.html#comments</comments>
		<pubDate>Sun, 01 Jul 2007 08:26:23 +0000</pubDate>
		<dc:creator>sansky</dc:creator>
				<category><![CDATA[基础知识]]></category>
		<category><![CDATA[下载]]></category>
		<category><![CDATA[软件]]></category>
		<category><![CDATA[IO]]></category>
		<category><![CDATA[IOPS]]></category>
		<category><![CDATA[oracle]]></category>
		<category><![CDATA[测试]]></category>
		<category><![CDATA[数据库]]></category>

		<guid isPermaLink="false">http://www.sansky.net/html/2007-07-01-1114.html</guid>
		<description><![CDATA[作者：piner 原地址： http://www.ixdba.com/html/y2007/m06/125-orion-storage-test.html orion，一款由Oracle公司提供，专门用于模拟数据库运行机制来测试存储的优秀IO存储测试软件，可以在不运行oracle数据库的情况下，仿真OLTP随机操作（测试IOPS）或者是OLAP连续性操作（测试吞吐量）。 先看看此软件的下载地址与说明... ]]></description>
			<content:encoded><![CDATA[<p>作者：piner 原地址： <a href="http://www.ixdba.com/html/y2007/m06/125-orion-storage-test.html">http://www.ixdba.com/html/y2007/m06/125-orion-storage-test.html</a></p>
<p>orion，一款由Oracle公司提供，专门用于模拟数据库运行机制来测试存储的优秀IO存储测试软件，可以在不运行oracle数据库的情况下，仿真OLTP随机操作（测试IOPS）或者是OLAP连续性操作（测试吞吐量）。</p>
<p>先看看此软件的<a target="_blank" href="http://www.oracle.com/technology/software/tech/orion/index.html" title="orion下载地址">下载地址</a>与说明：</p>
<p>ORION is the <a href="http://www.sansky.net/article/tag/oracle" class="st_tag internal_tag" rel="tag" title="标签 oracle 下的日志">Oracle</a> I/O Numbers Calibration Tool designed to simulate <a href="http://www.sansky.net/article/tag/oracle" class="st_tag internal_tag" rel="tag" title="标签 oracle 下的日志">Oracle</a> I/O workloads<br />
  &#8211; Without having to create and run an Oracle database<br />
  &#8211; Using the Oracle database&#8217;s I/O libraries<br />
  &#8211; Using small I/Os to simulate OLTP workloads<br />
  &#8211; Using large I/Os to simulate data warehouses<br />
  ORION is useful for understanding the performance capabilities of a storage system,either to uncover performance issues or to size a new database installation.<br />
  The Users Guide contains a Getting Started section, detailed usage documentation,and trouble-shooting tips. Please note that ORION is not supported by Oracle.<br />
  Download the files:<br />
  ·orion_AIX64.gz (11,670,726 bytes)<br />
  ·orion_solaris64_sparc.gz (898,929 bytes)<br />
  ·orion_solaris_x8664.gz (655,975 bytes)<br />
  ·orion_linux_em64t.gz (767,380 bytes)<br />
  ·orion10.2_linux.gz (630,354 bytes)<br />
  ·orion10.2_windows.msi (7,865,856 bytes)<br />
  ·Users Guide<br />
可以见到，此软件已经支持多个OS环境，遗憾的是，Oracle并不对该软件提供服务支持，不过，这并不影响该软件的正常使用，从我的测试结果来看，该软件真的是很不错的存储测试软件。</p>
<p>下载到的软件，已经分别编译好，不需要任何编译即可以在各自的OS环境中运行，这个比很多压力测试软件需要另外重新编译好多了，也方便多了，如，在AIX环境下，在解压的目录下，运行./orion -help，即可以看到该软件的详细帮助。</p>
<p>该软件支持三种运行方式</p>
<p>Simple：简单的测试随机的小IO（默认8k）以及大IO（默认1024K），这个方式对初次运行该软件，或者大致了解存储基本特性比较有用。</p>
<p>Normal：可以组合不同的IO类型，但是还是不能自定义IO大小</p>
<p>Advanced：可以支持多种高级选项，如IO大小，压力大小，IO类型，测试方式等等</p>
<p>以及两种不同的压力方式</p>
<p>典型的OLTP环境：选择随机的小IO，测试存储所能支持的最大IOPS以及响应时间</p>
<p>典型的OLAP环境：选择顺序的大IO，测试存储所能支持的最大吞吐量以及响应时间</p>
<p>该软件的运行只需要一个配置文件，&lt;testname&gt;.lun，配置了测试所需要用到的磁盘信息，而分别返回如下信息：</p>
<p>&lt;testname&gt;_<a href="http://www.sansky.net/article/tag/iops" class="st_tag internal_tag" rel="tag" title="标签 IOPS 下的日志">iops</a>.csv：不同压力类型的IOPS值</p>
<p>&lt;testname&gt;_mbps.csv：不同压力类型的吞吐量</p>
<p>&lt;testname&gt;_lat.csv：不同压力类型下的响应时间</p>
<p>&lt;testname&gt;_summary.txt：测试结果的汇总信息</p>
<p>我在分别运行load runner+oracle模拟数据库活动以及仅仅是运行该软件模拟数据库的活动中，可以明显的发现该软件的优势所在：</p>
<p>1、不需要运行load runner以及配置大量的clinet</p>
<p>2、不需要运行oracle数据库，以及准备大量的测试数据</p>
<p>3、测试结果更具有代表性，如随机IO测试中，该软件可以让存储的命中率接近为0，而更仿真出了磁盘的真实的IOPS，而load runner很难做到这些，最终的磁盘IOPS需要换算得到。</p>
<p>4、可以根据需要定制一定比例的写操作（默认没有写操作），但是需要注意，如果磁盘上有数据，需要小心数据被覆盖掉。</p>
<p>当然，也有其缺点</p>
<p>1、到现在为止，无法指定自定义的总体的运行时间以及加压的幅度，这里完全是自动的</p>
<p>2、无法进行一些自定义的操作类型，如表的扫描操作，装载测试等等，不过可以与oracle数据库结合起来达到这个效果</p>
<p>下面，我就给出几个具体的例子说明其操作</p>
<p>1、数据库OLTP类型，假定IO类型全部是8K随机操作，压力类型，自动加压，从小到大，一直到存储压力极限</p>
<p>#<font color="#0000ff">nohup ./orion -run advanced -testname mytest -num_disks 96 -size_small 8 -size_large 8 -type rand &amp;</font></p>
<p>2、数据库吞吐量测试，假定IO全部是1M的序列性IO</p>
<p>#<font color="#0000ff">nohup ./orion -run advanced -testname mytest -num_disks 96 -size_small 1024 -size_large 1024 -type seq &amp;</font></p>
<p>3、指定特定的IO类型与IO压力，如指定小IO为压力500的时候，不同大IO下的压力情况</p>
<p>#<font color="#0000ff">nohup ./orion -run advanced -testname mytest -num_disks 96 -size_small 8 -size_large 128 -matrix col -num_small 500 -type rand &amp;</font></p>
<p>4、结合不同的IO类型，测试压力矩阵</p>
<p>#<font color="#0000ff">nohup ./orion -run advanced -testname mytest -num_disks 96 -size_small 8 -size_large 128 -matrix detailed -type rand &amp;</font></p>
<p>因为其测试结果是csv文件，所以可以很方便的根据结果在excle中绘制压力曲线，如某存储的压力测试，根据Orion的测试结果绘得的IOPS与响应时间关系表：</p>
<p style="margin: 0cm 0cm 0pt; text-align: center"><img src="http://www.ixdba.com/wp-content/uploads/2007/06/orion.jpg" alt="orion" title="orion test result" /></p>
<p>其中，横轴是响应时间，纵轴是IOPS值，表示了在不同的IOPS情况下，单个IO的平均响应时间分别是多少。</p>
]]></content:encoded>
			<wfw:commentRss>http://www.sansky.net/article/2007-07-01-orion.html/feed</wfw:commentRss>
		<slash:comments>1</slash:comments>
		</item>
		<item>
		<title>CPU、缓存与存储性能</title>
		<link>http://www.sansky.net/article/2007-06-26-cpu-cache-and-memory-performance.html</link>
		<comments>http://www.sansky.net/article/2007-06-26-cpu-cache-and-memory-performance.html#comments</comments>
		<pubDate>Tue, 26 Jun 2007 08:15:51 +0000</pubDate>
		<dc:creator>sansky</dc:creator>
				<category><![CDATA[存储技术]]></category>
		<category><![CDATA[精华推荐]]></category>
		<category><![CDATA[存储产品介绍]]></category>
		<category><![CDATA[存储控制器]]></category>
		<category><![CDATA[带宽]]></category>
		<category><![CDATA[主机接口]]></category>
		<category><![CDATA[网络存储]]></category>
		<category><![CDATA[用户]]></category>
		<category><![CDATA[FC]]></category>
		<category><![CDATA[IOPS]]></category>
		<category><![CDATA[ISCSI]]></category>
		<category><![CDATA[NAS]]></category>

		<guid isPermaLink="false">http://www.sansky.net/html/2007-06-26-1105.html</guid>
		<description><![CDATA[与很多客户交流过，也曾经参与过很多次投标，发现很多用户在进行产品对比和设备选型的时候，经常以CPU和缓存的大小，主机端口的数量来判断存储设备性能的好坏。许多用户片面地会认为CPU、缓存大、接口数量多的设备性能要好。因此在设备选型、编写招标技术要求时也经常以CPU和缓存的大小，主... ]]></description>
			<content:encoded><![CDATA[<p>与很多客户交流过，也曾经参与过很多次投标，发现很多用户在进行产品对比和设备选型的时候，经常以CPU和缓存的大小，主机端口的数量来判断存储设备性能的好坏。许多用户片面地会认为CPU、缓存大、接口数量多的设备性能要好。因此在设备选型、编写招标技术要求时也经常以CPU和缓存的大小，主机端口数量来作为是否采用的重要，甚至唯一标准。</p>
<p>存储的性能好坏不是简单地对比CPU和缓存大小的就可以区别好坏吧，如果你认为可以，那么我敢说你还没有真正了解存储，对存储还只有一知半解。<span id="more-1105"></span></p>
<p>中高端的FC存储和ISCSI存储都是基于控制器架构的，存储性能的好坏关键在于控制内部的结构设计，设计先进的控制器可能处理效率非常高，因而并不一定要求很高速的CPU，也不需要很大的缓存。设计不好的存储即就是采用了很好CPU，很大的缓存，其性能也不见得就好。如在广电行业的网络中，为了获得700-800M的大带宽，有点存储设备只需要2-4GB的缓存，而有点存储即使采用32GB的超大缓存，其带宽性能仍然很低。另外，增加缓存是否能提升性能还要看存储应用的业务环境。在数据库、小文件应用环境中增大缓存会大幅度提高写带宽，当然前提是后端磁盘性能为达到极限。但在大文件读取的应用环境，增加缓存所带来的性能提升幅度并不大。</p>
<p>NAS存储设备和一些中低端的ISCSI都是基于PC架构，说白了其核心部分就是一台PC服务器，它的性能会因CPU和内存变化而发生变化，但变化也有一定的范围。这类存储其性能一般取决于自身操作系统设计，文件系统中数据管理和数据检索等方面的设计，而不是CPU和缓存。先进高效的文件系统可是存储产品对外提供非常高的性能。ＮＡＴＡＰＰ的高端ＮＡＳ为什么性能好，就是因为它内部有一个非常高效的文件系统，而不是因为CPU和缓存大。</p>
<p>另外，对于存储设备来讲，主机接口的数量很多时候只能表示存储设备区有一定的扩展能力，即可以直连更多的主机和交换机，而不能表示性能更高。存储产品的性能是由控制器决定的，但主机端口数量增加到一定数量，足以完全输出存储设备的最大性能时，再增加更多的主机端口并不会增加性能。因此不能片面地相信主机端口越多性能就越高的说法。</p>
<p>希望大家在选择存储设备时，能够合理和正确地对待CPU、缓存和接口等技术参数，并根据自己系统的应用类型和带宽，IOPS等指标，合理地选择存储设备。同时拿到一定产品的说明书或产品的宣传彩页，千万别完全迷信上面所写的技术参数，更别相信8个４GB FC就能提供３２００GB带宽，８个以太网接口就能提供８00M带宽的鬼话，那都是用来骗外行的。</p>
]]></content:encoded>
			<wfw:commentRss>http://www.sansky.net/article/2007-06-26-cpu-cache-and-memory-performance.html/feed</wfw:commentRss>
		<slash:comments>4</slash:comments>
		</item>
		<item>
		<title>UIT数据库应用解决方案</title>
		<link>http://www.sansky.net/article/2007-05-31-uit.html</link>
		<comments>http://www.sansky.net/article/2007-05-31-uit.html#comments</comments>
		<pubDate>Thu, 31 May 2007 01:26:21 +0000</pubDate>
		<dc:creator>sansky</dc:creator>
				<category><![CDATA[存储技术]]></category>
		<category><![CDATA[创新科UIT]]></category>
		<category><![CDATA[cluster]]></category>
		<category><![CDATA[解决方案]]></category>
		<category><![CDATA[IOPS]]></category>
		<category><![CDATA[ISCSI]]></category>
		<category><![CDATA[UIT-BS3000]]></category>
		<category><![CDATA[数据复制]]></category>
		<category><![CDATA[数据库]]></category>
		<category><![CDATA[拓扑结构]]></category>

		<guid isPermaLink="false">http://www.sansky.net/html/2007-05-31-529.html</guid>
		<description><![CDATA[一、序言 现代IT技术认为，一个成功系统中数据及作业的重要性已远远超过硬件设备本身。对大量的应用需求进行分析后，我们可以清楚的认识到：在一套完善的系统中对数据的安全及保障有着极高的要求。数据库应用做为众多应用中的一种，在企业的生产中有着举足轻重的作用，他记录着企业非常重... ]]></description>
			<content:encoded><![CDATA[<p><strong>一、序言</strong></p>
<p>现代IT技术认为，一个成功系统中数据及作业的重要性已远远超过硬件设备本身。对大量的应用需求进行分析后，我们可以清楚的认识到：在一套完善的系统中对数据的安全及保障有着极高的要求。数据库应用做为众多应用中的一种，在企业的生产中有着举足轻重的作用，他记录着企业非常重要的生产信息，它的安全性和可用性甚至决定了一个企业的生死存亡。</p>
<p><strong>二、数据库对存储的需求</strong></p>
<p>1 极高的可靠性：只有存储系统具有高的可靠性，才能可靠的承载数据库在其上稳定的运行。正因为如此，现在用来运行数据库的存储系统绝大多数都是高端产品。同时添加外围的备份软件对数据库进行备份，以确保数据库的安全。<span id="more-529"></span></p>
<p>2 较好的性能：在大型企业的数据库系统中，往往业务比较紧张，数据库系统时常处于高负荷的状态下，同时需要处理多个业务，这给存储系统带来了较高的要求，不但有较高的贷款，还要有较高的IOPS。</p>
<p><strong>三、我们的解决方案</strong></p>
<p>以下列举了几种常见的数据库应用方式及其解决方案。</p>
<p><strong>A </strong><strong>双机（<a href="http://www.sansky.net/article/tag/cluster" class="st_tag internal_tag" rel="tag" title="标签 cluster 下的日志">CLUSTER</a></strong><strong>）</strong></p>
<p><strong>1 </strong><strong>方案平台：</strong><strong>UIT BS3000 <a href="http://www.sansky.net/article/tag/iscsi" class="st_tag internal_tag" rel="tag" title="标签 ISCSI 下的日志">ISCSI</a></strong><strong>磁盘阵列</strong></p>
<p><strong>2 </strong><strong>方案拓扑</strong></p>
<p><img width="523" src="http://www.sansky.net/wp-content/2007/05/windowslivewriteruit-84ceclip-image002.jpg" height="278" /></p>
<p>3 方案说明</p>
<p>该方案中采用一台UIT BS3000磁盘阵列作为双机的共享存储设备，数据库存储与BS3000之上，所有的主机和存储设备通过以太网连接在一起。</p>
<p>4 方案特点</p>
<p>采用ISCSI设备作为双机的共享存储，充分利用了BS3000的企业极存储的优势，为双机的稳定可靠提供了依据，同时60000 IOPS完全可以满足数据库应用的需求。</p>
<p><strong>B</strong><strong>零停机本地或远程备份</strong></p>
<p>1 方案平台：UIT BS3000 ISCSI磁盘阵列</p>
<p>2 方案拓扑</p>
<p><img width="372" src="http://www.sansky.net/wp-content/2007/05/windowslivewriteruit-84ceclip-image004.jpg" height="231" /></p>
<p>3 方案说明</p>
<p>本方案使用UIT BS3000作为数据库的存储体，充分利用BS3000自身的快照功能。由于快照可以和普通卷一样使用，所以可以在不影响系统正常功能的前提下进行本地或远程备份。</p>
<p>4 方案特点</p>
<p>充分利用BS3000的自身功能，进行远程或本地备份时不影响系统的正常工作。</p>
<p><strong>C</strong><strong>双向数据复制容灾</strong></p>
<p>1 方案平台：UIT BS3000 ISCSI磁盘阵列</p>
<p>2 方案拓扑</p>
<p><img width="344" src="http://www.sansky.net/wp-content/2007/05/windowslivewriteruit-84ceclip-image006.jpg" height="207" /></p>
<p>3 方案说明</p>
<p>通过在不同的地方配置两套BS3000系统，利用BS3000系统自身的远程镜像功能，通过合理的配置能够实现系统间的自动备份。</p>
<p>4 方案特点</p>
<p>充分利用存储系统自身的功能，不需要其他软硬件参与即可实现远程复制。</p>
<p><strong>D</strong><strong>集中数据复制</strong></p>
<p>1 方案平台：UIT BS3000 ISCSI磁盘阵列</p>
<p>2 方案拓扑</p>
<p><img width="272" src="http://www.sansky.net/wp-content/2007/05/windowslivewriteruit-84ceclip-image008.jpg" height="265" /></p>
<p>3 方案说明</p>
<p>通过在不同的地方配置多套BS3000，利用BS3000系统自身的远程镜像功能，通过合理的配置能够实现数据的集中复制。</p>
<p>4 方案特点</p>
<p>充分利用存储系统自身的功能，不需要其他软硬件参与即可实现集中复制。</p>
]]></content:encoded>
			<wfw:commentRss>http://www.sansky.net/article/2007-05-31-uit.html/feed</wfw:commentRss>
		<slash:comments>1</slash:comments>
		</item>
		<item>
		<title>带宽测试IO测试软件下载</title>
		<link>http://www.sansky.net/article/2007-05-28-iometer.html</link>
		<comments>http://www.sansky.net/article/2007-05-28-iometer.html#comments</comments>
		<pubDate>Mon, 28 May 2007 04:35:28 +0000</pubDate>
		<dc:creator>sansky</dc:creator>
				<category><![CDATA[基础知识]]></category>
		<category><![CDATA[下载]]></category>
		<category><![CDATA[网络存储]]></category>
		<category><![CDATA[DISK]]></category>
		<category><![CDATA[软件]]></category>
		<category><![CDATA[IOmeter]]></category>
		<category><![CDATA[IOPS]]></category>
		<category><![CDATA[测试]]></category>

		<guid isPermaLink="false">http://www.sansky.net/html/2007-05-28-422.html</guid>
		<description><![CDATA[1、随机带宽或IOPS测试软件IOMETER。  2、硬盘测速软件。 点击下载： IOMETER.zip disktest.zi... ]]></description>
			<content:encoded><![CDATA[<p>1、随机带宽或IOPS测试软件IOMETER。 </p>
<p>2、硬盘测速软件。</p>
<p>点击下载：</p>
<p><a href="http://www.sansky.net/files/iometer.zip" target="_blank">IOMETER.zip</a></p>
<p><a href="http://www.sansky.net/files/disktest.zip" target="_blank">disktest.zip</a></p>
]]></content:encoded>
			<wfw:commentRss>http://www.sansky.net/article/2007-05-28-iometer.html/feed</wfw:commentRss>
		<slash:comments>53</slash:comments>
		</item>
		<item>
		<title>闲聊存储产品各种性能差异区别</title>
		<link>http://www.sansky.net/article/2007-05-13-storage-performance-differenc.html</link>
		<comments>http://www.sansky.net/article/2007-05-13-storage-performance-differenc.html#comments</comments>
		<pubDate>Sat, 12 May 2007 16:26:48 +0000</pubDate>
		<dc:creator>sansky</dc:creator>
				<category><![CDATA[好文收藏]]></category>
		<category><![CDATA[带宽]]></category>
		<category><![CDATA[网络存储]]></category>
		<category><![CDATA[IOPS]]></category>

		<guid isPermaLink="false">http://www.sansky.net/?p=220</guid>
		<description><![CDATA[说起存储产品的评价，性能永远是第一重要的问题。吹嘘性能的各种说辞在供应商口中不断花样翻新：带宽（Bandwidth）、IOPS、顺序（Sequential）读写、随机（Random）读写、持续吞吐（Sustained Throughput）、突发处理能力（Burst I/O）等等看似甚为专业的名词充斥着解决方案和技术分析报告。存储产品的性能... ]]></description>
			<content:encoded><![CDATA[<p>说起存储产品的评价，性能永远是第一重要的问题。吹嘘性能的各种说辞在供应商口中不断花样翻新：<a href="http://www.sansky.net/article/tag/bandwidth" class="st_tag internal_tag" rel="tag" title="标签 带宽 下的日志">带宽</a>（Bandwidth）、<a href="http://www.sansky.net/article/tag/iops" class="st_tag internal_tag" rel="tag" title="标签 IOPS 下的日志">IOPS</a>、顺序（Sequential）读写、随机（Random）读写、持续吞吐（Sustained Throughput）、突发处理能力（Burst I/O）等等看似甚为专业的名词充斥着解决方案和技术分析报告。存储产品的性能似乎被量化得格外清晰，作为用户，只需要简单的比较两个数字，就可以清楚的得出孰优孰劣的结论。然而，事实果真如此吗？<br />
让我们先来看几个有趣的实例。<br />
在Engenio公司的网站上，很容易就可以分辩出4884控制器比2882控制器定位要高些，扩展能力也好些。但是，http://www.engenio.com/default.aspx?pageId=68这个网页上列出4884控制器持续吞吐能力是390MB/s，而http://www.engenio.com/default.aspx?pageId=69这个网页上显示2882控制器的同一个性能指数为400MB/s。难到是网页搞错了？再到存储系统的说明网页上确认一下（http://www.engenio.com/default.aspx?pageId=62）数据的确没有错。<span id="more-220"></span></p>
<p>另一个例子是来自Infortrend公司的两款产品：A16F-G2221（<a href="http://www.sansky.net/article/tag/fc" class="st_tag internal_tag" rel="tag" title="标签 FC 下的日志">FC</a>-SATA <a href="http://www.sansky.net/article/tag/raid" class="st_tag internal_tag" rel="tag" title="标签 RAID 下的日志">RAID</a>）和A16U-G2421（<a href="http://www.sansky.net/article/tag/scsi" class="st_tag internal_tag" rel="tag" title="标签 SCSI 下的日志">SCSI</a>-SATA <a href="http://www.sansky.net/article/tag/raid" class="st_tag internal_tag" rel="tag" title="标签 RAID 下的日志">RAID</a>）。无论是扩展能力还是价格方面，前者似乎都比后者略为高端一些，但是性能指数似乎并不支持这一结论，甚至令人莫衷一是。从两者的详细指标列表中可以清楚的看到，前者的顺序读写带宽分别为386MB/s和310MB/s，而后者是450MB/s和302MB/s。就是说，前者的写入带宽更高些，而后者的读取带宽更好些。到底哪个产品的处理能力更强些呢？</p>
<p>如果把这个两个例子中的产品再横行比较一下，问题就更明显了。作为典型中端存储设备，Engenio 4884的最大带宽（390MB/s）还不如Infortrend的SCSI-SATA盘阵（450MB/s）！而且，Infortrend的速度指数还明确标明是RAID5之后的测试结果，而Engenio则仅以“持续介质吞吐”（Sustained Throughput to Media）指代，并没有说明有无冗余校验。也就是说，Engenio 4884在RAID5的情况下很有可能带宽还不足390MB/s！要知道，Engenio 4884就是IBM公司的FAStT 700，价格可是A16U-G2421的数倍呢。难到花钱买FAStT700的用户都冤枉了？</p>
<p>类似的例子还有很多很多……</p>
<p>不仅产品间的对比这种情况，在纯粹技术层面也存在有类似的例子。令人印象最为深刻的当属 1999年光纤通道技术刚刚产品化的时候，一个来自最终用户的最为普遍的问题：“光纤技术比SCSI先进吗？为什么光纤通道的最大带宽是100MB/s，而SCSI的最大带宽是160MB/s呢？”几年之后，这个疑问依然广泛存在，只是两种技术的带宽都分别翻了一倍，变成了200MB/s之比于320MB/s。还是SCSI的速度快！</p>
<p>当年存储工程师中间流传着一个火车和马车的比喻，来说明光纤技术比SCSI技术领先。大概意思是说，光纤技术就好似火车，而SCSI技术是马车。虽然世界上第一辆火车没有马车跑得快，但后来的发展证明，火车这一技术是绝对领先于马车的。</p>
<p>这个说法在今天基本已经得到证实，光纤技术已经发展到400MB/s的带宽，并正在规划着下一代800MB/s或1GB/s的标准，而传统并行SCSI似乎不可能再超越320MB/s的极限了，替代传统并行SCSI的SAS（串行SCSI）技术也只有300MB/s，其后的第二代SAS虽然预计可以达到600MB/s之多，但那时的光纤通道技术应该也已经是800MB/s或1GB/s了。火车终于超过马车了！</p>
<p>但是，现实的问题是：作为用户，真的需要那些还不如马车跑得快的第一代火车吗？难到不应该等到火车进步到比马车跑得快了之后，再购买火车吗？</p>
<p>我的答案是：不尽然，要看具体的需求。如果你对速度的要求两者都可以满足，而又希望安全准时的长途运送货物，那么既便马车跑得更快些，也不是好的选择。毕竟打劫马车比打劫火车要容易得多嘛！</p>
<p>也许打劫的例子实在离题太远，我们还是回到存储产品的讨论上，走进那些五花八门的指数背后，去看看性能的真实面目。</p>
<p>带宽与I/O</p>
<p>这是两个衡量存储设备性能最基本的概念，明确的区分两者也是对存储产品性能了解的第一步。如果我们把存储设备比做一间会议室，被存取的数据就是前来参加会议或从会议中离开的人，那么带宽性能就是指这间会议室大门的宽度，大门越宽，可以同时进出的人也就越多，而I/O性能是指房门开合的频繁程度，迎来一批前来参加会议的人，就需要打开一次大门，送走一批人也是一样，哪怕这“一批人”其实只是一个人。由此可见，当我们考察会议室的门设计得是否合理时，必须结合会议本身的性质。</p>
<p>对纪律严明的会议来说，与会者轻易不会凌乱的进出会场，人们在会议开始时统一进入，结束时再统一离开。对这种情况，门的宽度就十分重要，而是否易于开合则显得不那么关键，反正这扇门在整个会议中只需要开合两次而已。相反的，对于联欢性质的聚会而言，门设计得太宽除了显得气派之外，并没有什么实际的意义，但是门开合的频率却很重要，因为会有客人频繁的进进出出。</p>
<p>对应到存储设备上，道理也是一样。大文件持续传输型的应用需要的是充分的带宽性能，而小文件随即读写的应用则要求足够的I/O能力。那么多大的文件算“大文件”呢？一般而言，超过1MB大小的文件就可以算做“大文件”了。如果您的应用系统处理的资料中，最小的文件也有4～5MB甚至几十MB，就需要重点考察存储系统的带宽性能了。如果您的应用是数据库形式，或是电子邮件系统，系统中有大量KB级大小的文件，那么就可以忽略掉产品介绍中xxx MB/s的字样，重点关心xxx IOPS就可以了。</p>
<p>影响性能的因素</p>
<p>当然，仅看产品彩页中的简单数字还是远远不够的。存储设备的标称指数只是其最最理想情况下的表现，而实际应用中，存储设备表现出的处理能力往往与其标称指数相去甚远。为了反映更多的细节，会议室的比喻不足以说明问题。所以我们前面的例子再改进一下，把存储设备看作一栋有很多房间的大厦。人们从门口进入大厦，先来到大堂，经过走廊，最后到达房间。人们进大厦的方式也分为两种：一种是所有人按房间号码顺序排好队，一起进入大厦，我们称之为“顺序进入”；另一种是他们无规律的自由进入，我们称为“随即进入”。</p>
<p>显而易见，“顺序进入”的效率要大大高于“随即进入”。这就说明，一般情况下，顺序读写的性能要远高于随即读写的性能。还有一个结论也不难得出，一个宽敞的大堂更有利于偶然性较大的“随机进入”，而对“顺序进入”的人群而言，经过大堂基本属于浪费时间。存储设备中的“大堂”就是高速缓存。也就是说，大容量高速缓存可以提高随机读写性能，而对顺序读写的性能改进则不明显。</p>
<p>还记得前面讨论的带宽和I/O的差别吗？带宽考察的是单位时间进入大厦的人数，而I/O关心的是单位时间进出大厦的批次。从次可见，如果走廊没有任何变化，那么大堂只要不是太小，就不会影响带宽性能。相对的，对I/O性能而言，大堂显然是越大越好。总之，影响带宽的因素主要是前端控制器（大门）和后端磁盘通道（走廊）的带宽；而影响I/O的因素主要是控制器（大门）处理能力和高速缓存（大堂）容量。</p>
<p>当然，前面的讨论都基于一个假设前提：磁盘（房间）足够多。如若只配置寥寥几个磁盘，它们就会成为整个系统的性能瓶颈。任凭其他配置如何奢华，也于事无补。那么，“足够多”又是多少呢？对光纤通道存储设备来说，每个光纤通道上的磁盘数量达到50～60个的时候性能达到最佳。所以一般中高端存储设备都把每通道50～60个磁盘设计为扩展极限，而不是光纤通道技术规定的126个。</p>
<p>图1. 磁盘数量影响光纤环路性能</p>
<p>这样设计存储产品，可以让系统的性能随着容量的增加而增长。但是同时，用户必须明白，在容量没有配置到最大值的时候，性能就无法达到厂商所宣称的指标。一些厂商还声明其产品的性能可以随着容量的增长而线性增长，按这样讲，当你的存储设备只配置了最大容量的一半时，你得到的性能也只有系统最佳性能的一半。</p>
<p>性能曲线</p>
<p>这里所说的“最佳性能”就是厂商所宣称的指数吗？很遗憾，答案是不一定，一般都不是，而且可能会相差很远！我已经听到有人在叫“天啊！那厂商公布的数字到底有什么意义啊。”别急，看到下面两个图示就清楚了。</p>
<p>图2. IOPS性能曲线示例</p>
<p>图3. 带宽性能示例</p>
<p>这两个图示是典型的存储设备性能实测曲线，所有曲线来自同一个存储设备的同一个配置。不同产品在纵向指标上表现各异，但曲线的形状都大体相同。从图上可以看出，用户环境中存储设备的性能表现严重依赖数据块的大小。以顺序读取操作为例，如果应用产生的数据块大小在8KB左右，那么带宽性能和I/O性能最多也只能达到峰值性能的一半左右。如果希望得到更好的I/O性能，就需要尽量将数据块调整得更小。但不幸的是，如果希望带宽性能更好，就需要想办法把数据块设置得更大。看来，带宽与I/O性能是鱼与熊掌，难以兼得啦。</p>
<p>不过没关系，如我们前面提到的，幸好大多数用户其实只需要其中一种性能。要么是大文件类型的应用，需要带宽性能；抑或是小文件类型应用，需要I/O能力。需要带宽的用户相对容易得到满足。从图3可以看出，只要数据块大于128KB，顺序读的性能就基本可以达到系统饱和值。对顺序写，饱和数据块略大一些，但256KB也不算难以达到的尺寸。</p>
<p>得到最佳的I/O性能似乎就没那么容易了。从图2的曲线来看，I/O性能并没有一个饱和状态，这就要求数据块无穷尽的尽量小。然而所有应用都不可能支持无穷小的数据块。实际上，大多数的数据库应用产生的数据块都在2KB或4KB左右。在这个尺度上，应用得到的性能距离最高性能还有至少20～30%的空间呢。</p>
<p>持续和突发<br />
回到我们那个关于大厦的例子。如果大厦临时发生紧急情况，比如火灾，人们争先恐后的蜂拥在门口，景象一定是一片混乱。在实际应用中，存储系统也可能遭遇类似的情况，一时间大量数据同时被访问，造成系统严重堵塞。这就像存储系统内的交通高峰，往往需要类似交通管制的手段才能提高系统效率。一些厂商会宣称他们的产品在这种情况下的“交通管制”能力有多强，以致可以从容应付大规模的突发访问。诸如“全交换结构”、“直接矩阵结构”等技术均属此类。究其本质，这些“交通管制”都是在大堂（高速缓存）的设计上做文章，将原本一个公共大堂的结构变成若干独立大堂的结构。以此来避免火灾发生时，所有人都拥挤到一个大堂里。<br />
这样设计的确可在访问突然爆发时缓解系统压力，但是需要注意，这样设计的大厦内部一定布满了各种指示牌和路标，对任何一个进入大厦的人而言，进入房间的过程都将变得更复杂。其结果就是，非突发状态下，系统的持续读写能力往往还不如同等计算能力的简单结构存储。</p>
<p>其他影响</p>
<p>除了前面所谈到诸多方面外，还有很多因素都会影响到存储设备在实际运行中的性能。例如RAID级别的设置、磁盘类型甚至型号批次的匹配、缓存的镜像、SCSI指令队列深度的设置，这些方面都与性能结果直接相关。而且，为了能够得到最好的性能指数，几乎所有的厂商在测试自己产品性能的时候都会采用无冗余的RAID0、选用15k rpm的高速磁盘、将写缓存镜像保护关闭或者干脆关闭写缓存、将指令队列深度设置为最大。如此配置方式相信不是每个用户都可以接受的。<br />
另外，所有存储设备在运行快照或远程镜像等附加功能之后，性能都会明显下降，有些情况甚至会下降60%之多。如果用户的应用恰巧需要这些附加功能，就需要在选用存储设备之前认真的实地测量一下真实性能。免得满怀希望的买回家，使用起来却失望至极。</p>
<p>这样的例子其实并不少见，记得我国某大型铁路局的某重要系统就曾经有过这样的失望经历。那时某国外知名厂商的一款中端存储设备刚刚下线，号称是全球第一款可以支持远程容灾的中端存储产品。正值铁路系统整体调整，该单位认为这款产品即可以实现远程容灾的功能，又只有中端产品的价格，是个性能价格比很高的产品。但是采购之后才发现，这款产品作为普通存储设备时，性能还可以应付系统压力，但是启动远程数据镜像之后，性能下降到原来的三分之一，完全无法满足系统需求。几经努力都失败之后，用户只好放弃了这个鸡肋，而为此付出的软硬件投资也付之东流。</p>
<p>结论和建议<br />
想要知道梨子的滋味，最好的办法就是亲自尝一尝。对存储设备，这个道理尤其重要。只有在用户需要的配置方式下，在实际的应用系统中，实实在在的运行之后，用户才能真正清楚的感知存储设备的真实性能表现。纸上谈兵只怕会使用户在各种数据中迷失方向，难以做出正确结论。</p>
]]></content:encoded>
			<wfw:commentRss>http://www.sansky.net/article/2007-05-13-storage-performance-differenc.html/feed</wfw:commentRss>
		<slash:comments>2</slash:comments>
		</item>
		<item>
		<title>技术参数与存储性能</title>
		<link>http://www.sansky.net/article/2007-05-12-iops.html</link>
		<comments>http://www.sansky.net/article/2007-05-12-iops.html#comments</comments>
		<pubDate>Sat, 12 May 2007 15:38:32 +0000</pubDate>
		<dc:creator>sansky</dc:creator>
				<category><![CDATA[存储技术]]></category>
		<category><![CDATA[存储产品介绍]]></category>
		<category><![CDATA[存储控制器]]></category>
		<category><![CDATA[带宽]]></category>
		<category><![CDATA[网络存储]]></category>
		<category><![CDATA[IOPS]]></category>

		<guid isPermaLink="false">http://www.sansky.net/?p=210</guid>
		<description><![CDATA[存储的性能好坏不是简单地对比CPU和缓存大小的就可以区别好坏吧，如果你认为可以，那么我敢说你还没有真正了解存储，对存储还只有一知半解。 中高端的FC存储和ISCSI存储都是基于控制器架构的，存储性能的好坏关键在于控制内部的结构设计，设计先进的控制器可能处理效率非常高，因而并不一定... ]]></description>
			<content:encoded><![CDATA[<p>存储的性能好坏不是简单地对比CPU和缓存大小的就可以区别好坏吧，如果你认为可以，那么我敢说你还没有真正了解存储，对存储还只有一知半解。</p>
<p>中高端的FC存储和ISCSI存储都是基于控制器架构的，存储性能的好坏关键在于控制内部的结构设计，设计先进的控制器可能处理效率非常高，因而并不一定要求很高速的CPU，也不需要很大的缓存。设计不好的存储即就是采用了很好CPU，很大的缓存，其性能也不见得就好。如在广电行业的网络中，如要获得700-800M的，有点存储设备只需要2-4GB的缓存，而有点存储即使采用32GB的超大缓存，其带宽也远不能达到32GB.<span id="more-210"></span></p>
<p>另外，更换CPU和缓存后，性能是否提升，还要看业务应用环境。在是写较多的环境中，增大缓存，写带宽会大幅度得到提高，但如果主要是大文件的读取操作，那么增加再大的缓存，也不可能大幅度提高存储的读带宽。</p>
<p>NAS存储设备和一些中低端的ISCSI都是基于PC架构，说白了其就是一台PC服务器，因而它的性能会因CPU和内存变化而发生变化，但变化也有一定的范围。一般地，不管都多好的CPU，多大内存，PC架构存储设备的带宽都不会超过120M，无论这个产品对外提供3个4个甚至更多个以太网接口，PC架构限定了它的性能范围。这好比骑自行车，不管你使多大的力气，自行车的速度也不可能超过汽车。</p>
<p>因此希望大家在选择存储设备时一定先要还分析清楚自己的系统采用什么样的存储是最合适的，你的系统最关注存储的带宽，<a href="http://www.sansky.net/article/tag/iops" class="st_tag internal_tag" rel="tag" title="标签 IOPS 下的日志">IOPS</a>，高可用性还是数据的安全性，然后在此前提下去选择存储设备。拿到一定产品的说明书或产品的宣传彩页，千万别迷信上面所写的技术参数，更别相信销售们所说的8个2GB FC就能提供1.6GB带宽，4个以太网接口就能提供400M带宽的鬼话，那都是用来骗存储白痴的。</p>
]]></content:encoded>
			<wfw:commentRss>http://www.sansky.net/article/2007-05-12-iops.html/feed</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
		<item>
		<title>视频监控存储发展趋势</title>
		<link>http://www.sansky.net/article/2007-05-12-video-surveillance-3.html</link>
		<comments>http://www.sansky.net/article/2007-05-12-video-surveillance-3.html#comments</comments>
		<pubDate>Sat, 12 May 2007 15:31:29 +0000</pubDate>
		<dc:creator>sansky</dc:creator>
				<category><![CDATA[存储技术]]></category>
		<category><![CDATA[带宽]]></category>
		<category><![CDATA[码率]]></category>
		<category><![CDATA[DAS]]></category>
		<category><![CDATA[解决方案]]></category>
		<category><![CDATA[视频监控]]></category>
		<category><![CDATA[IOPS]]></category>
		<category><![CDATA[IP-SAN]]></category>
		<category><![CDATA[ISCSI]]></category>
		<category><![CDATA[NAS]]></category>
		<category><![CDATA[流媒体]]></category>
		<category><![CDATA[摄像头]]></category>

		<guid isPermaLink="false">http://www.sansky.net/?p=206</guid>
		<description><![CDATA[视频监控系统存储设备的应用特点 视频监控系统一般具有监控点多，摄像头数量多，监控时间长，采集数据的时间往往长达几天或几十天。视频监控系统中采用的存储设备在数据读写方式上具有与其它类型系统不同的特点. 1）数字视频编码器或视频服务器以流媒体方式将数据写入存储设备，实时监控... ]]></description>
			<content:encoded><![CDATA[<p><span style="font-size: 12pt"><strong>视频监控系统存储设备的应用特点</strong></span><br />
视频监控系统一般具有监控点多，摄像头数量多，监控时间长，采集数据的时间往往长达几天或几十天。视频监控系统中采用的存储设备在数据读写方式上具有与其它类型系统不同的特点.</p>
<p>1）数字视频编码器或视频服务器以流媒体方式将数据写入存储设备，实时监控点回传的图像和画面以流媒体方式保存在存储中，回放工作站以流媒体方式来读取已存储的视频文件。这种读写方式与普通数据库系统或文件服务器系统中存储采用的小数据块或文件级读写方式完全不同，因此视频监控系统存储在技术参数要求方面与其它应用系统有较大的区别。<span id="more-206"></span></p>
<p>2）大型的视频监控系统中往往有2000-3000个，甚至更多个监控摄像头，每个摄像头一般采用D1格式回传图像。每路D1图像的码率为2Mb/s,所有摄像头累加超来总共需要500-750MB/S的带宽。</p>
<p>视频采集过程中，视频文件格式一般都不会发生变化，且码率保持恒定，视频图像的帧率一般都在15-25帧/S之间，也就是说在存储的读写操作中，必须保证每1/25秒内都能够达到500-750MB/S的带宽，否则图像采集或回放就会出现丢帧现象，除非存储设备本身配置一个大容量的缓存。因此视频监控系统存储不仅要求带宽大，还要求带宽恒定。</p>
<p>3）数据读写操作的持续时间长。由于摄像头一般都是7*24小时工作的，即使流媒体文件采用分段保存方式，写入操作的持续时间也有可能长达2-6个小时，后期回放时也需要相同的时间。因此要求存储具有超强的长时间工作能力，保持长时间的稳定性。</p>
<p>4）视频监控系统一般具有摄像头数量多，视频图像存储时间长，因此存储容量需求巨大，且随着图像存储时间的增加，存储容量需求呈线性的、爆炸性的增长。因此视频监控系统存储必须支持大容量，且容量具有高扩展性，满足长时间大容量视频图像存储的需求。</p>
<p>5）数字视频编码器一般对外提供标准的IP接口或iSCSI接口，通过在ADSL、城域网或专用网络上传输TCP/IP协议包文或iSCSI协议包文来向后方监控中心回传数据。如果存储设备具有与数字视频编码器相同的接口，编码器就有可能直接将数据写存储，从而就会大大减少监控系统的数据传输环节，提供数据存储的效率。</p>
<p><span style="font-size: 12pt"><strong>应用存储</strong></span><br />
随着大量视频监控项目的实施，许多不同类型的存储被做用视频监控系统的核心的图像数据存储设备。视频监控系统常采用的存储网络架构有DAS、<a href="http://www.sansky.net/article/tag/nas" class="st_tag internal_tag" rel="tag" title="标签 NAS 下的日志">NAS</a>、SAN和IP-SAN，常采用的存储设备类型有SCSI盘阵、FC和iSCSI设备。这些设备技术成熟、结构简单、安装实施也非常方便。然而这此设备都具有一个共同的缺点，就是存储设备在视频监控系统中只能起到一个简单的数据存储功能，无法替代服务器来运行特定的应用软件，视频监控系统中仍然需要大量专用服务器。</p>
<p>实际上，随着芯片技术的快速发展，CPU或专用ASIC芯片的运算及处理速度成倍提高，而存储设备的整体价格却在不断降低。在设备选型及购买时，出于设备更新换代方面的考虑，用户一般会选择稍高一级别的存储设备。再者，当投资充裕时价格差别对用户影响也比较少。因而在很多的应用系统中，用户采购的存储设备性能往往高出实际业务系统真实需求很多，甚至超出好几倍。</p>
<p>在一些中小视频监控系统中，系统中的性能瓶颈经常会出在视频服务器而不是存储设备端，存储设备所能提供的带宽往往是视频监控实际总带宽的两倍或三倍，IOPS也是实际需求的3-5倍左右。存储设备控制器长时间处于半负荷工作状态，大量的高性能资源被浪费。</p>
<p>为保障高可用性、高效性、稳定性和安全性，存储设备的控制器部分一般都是采门设计的，并采用专用的处理器和缓存，其各项技术参数和性能均高于普通PC服务器。为了有效地利用存储的富余资源，可以存储设备控制器部分中内嵌特殊功能的应用软件，存储设备设备不仅为系统提供数据存储服务器，还能提供一定的软件应用服务器，这种存储设备就称为应用存储。</p>
<p><span style="font-size: 12pt"><strong>2.1 应用存储架构</strong></span><br />
对视频监控网络存储系统来霁，应用存储设备是一种新型的、具有媒体管理和专用软件应用功能的、高性能的存储设备。与普通的存储相比，应用存储除了具有基本的数据存储和安全保护等功能特点外，还具有网络管理、媒体资产管理、视频转码、视频点播和存储共享管理等功能。</p>
<p>硬件参数：</p>
<p>由于要在存储中内嵌应用软件，应用存储一般都基于PC架构的NAS或ISCSI存储设备。存储设备在硬件方面采用全冗余的, 可热插拔的硬件架构和模块化的设计方式，支持双控制器, 双电源, 双风扇模块等, 消除单点故障，从来保证整个存储系统的稳定性和可靠性。</p>
<p>应用存储设备的控制器上的核心处理单元（CPU）位数量和缓存大小可根据系统压力进行调整。一般每控制器的CPU数量不少于2个，缓存不小于4GB，后期每控制器的CPU可扩展到4个以上，缓存可扩展到8GB以上。可以根据用户应用的读写特性动态调整读写比例，也可以根据各种应用的优先级别定义Cache的分配比例。</p>
<p>在视频监控系统中，应用存储应具有不低于300MB/S的实际可用带宽，容量不小于100TB。</p>
<p>以上所述是好的应用存储设备所以应具有基本硬件配置参数，当然，针对具体项目，硬件配置可以上下调整，以适应项目的需要。</p>
<p>集群功能：</p>
<p>具有分布式均衡负载的Cluster结构，支持多个控制器节点。前端主机端口可实现多通道动态负载均衡、支持自动故障切换。控制器可实现集群的、全Active的工作模式，且发生故障可自动实现failover。后端磁盘可在线进行扩展，数据可自动均布在所有的磁盘或后端口存储设备，提高单卷的访问性能。</p>
<p>存储虚拟化技术</p>
<p>把数据灵活的以条带化式分布在每一个集群中的磁盘节点上，创造一个单一的，共享的存储池，来满足企业逐渐增加的存储要求和应用要求，能有效地节省用户初期投资，最大化投资收益比。</p>
<p>自动负载均衡技术</p>
<p>当新的控制器节点和新的存储设备加入集群中时，利用自动负载均衡技术能够把在同一时间的负荷均匀的分布在集群中所有节点上，避免瓶颈产生，实现存储空间充分利用，发挥其最大性能，不需要down机的时间。</p>
<p><span style="font-size: 12pt"><strong>2.2 软件功能</strong></span><br />
应用存储真正有别于普通存储的特点在于可以运行特殊的软件应用功能。软件应用功能是指为了更有效地利用高性能存储设备控制器的剩余处理能力，发挥存储设备专用控制器比较普通PC服务器更高效、更稳定的特点，在应用存储的控制器中内部有嵌了各种不同类型的软件和服务器，使存储设备发挥更大的作用。</p>
<p>在视频监控系统中，可以被存储集成的软件应用有网络管理、媒体资产管理、视频转码、视频点播和存储共享管理等功能。</p>
<p>网络管理功能：</p>
<p>应用存储中内置了大量常用的以太网络管理服务，如域管理服务、DHCP服务、DNS服务等。存储网络系统不需要再配置专门的域管理服务器，仅通过应用存储就可以实现存储网络系统的域管理、DHCP服务和DNS服务等功能。</p>
<p>媒体资产管理功能：</p>
<p>应用存储设备中内置了一套强大的音像资源管理系统，也可以称为媒体资料管理系统，该软件系统中可对本存储设备内部的视音频文件、图片等多媒体资料进行录入、管理、检索查询、播放和下载，并可按实际工作中的需求定制分类标准和媒体资源的编目体系，对本存储设备内部的多媒体资源进行编目和分类，方便后期的检索和查寻。媒体资产管理功能对于一些珍贵多媒体资源的长期保存和再利用具有重要意义。</p>
<p>存储设备中的与视音频文件有关的元数据信息也可以通过标准API接口与其它的应用软件系统与交换，实现外部的媒体资产管理。</p>
<p>视频转码：</p>
<p>视频临近系统中，有很多图像文件需要进行视频格式转换来进行多媒体发布，或转换成低码率格式文件来进行长期存储，也可能需要对一些重要的，但已经超过在线时间的图像进行减帧处理来实现长期存储。这时就需要专门的服务器来对普通ISCSI网络存储上的图像文件进行视频转码或减帧处理，而这个操作会占用大量的带宽和网络资料。应用存储设备中内置了符合视频转码标准的专用视音频转码软件，可按预先定制好的转码标准和操作执行时间，在存储设备资源占用较少的时候来执行转码操作。由于视频转码软件只是对本存储设备内部的文件进行处理，数据不会流经存储的主机接口、网络交换机和服务器，因此不会点用存储设备的总带宽、也不会占用共有的网络资料。且由于存储控制器内部采用的是专用的高性能处理器，视频转码的效率也会大幅度提高。</p>
<p>视频点播功能:</p>
<p>应用存储内置了一个视频点播软件，用户可能通过该软件对存储设备中的视音频文件进行播放，并可以实现暂停、快进和回放都功能。</p>
<p>存储共享管理功能：</p>
<p>在一些特殊的应用环境中，如广电行业的非线性编辑制作网络系统、高性能计算系统、IP-SAN网络启动系统，无盘工作站系统中，由于应用软件系统要求多台服务器需要对同一个卷中的数据进行读写操作，就需要存储设备上的文件系统实现在多台服务器之间进行共享，那么存储网络中的所有服务器和工作站就需要安装存储共享管理软件，并配置专门的MDC服务器来对共享的文件系统进行管理。</p>
<p>应用存储中可内嵌存储共享网络系统中常用的共享软件，如SANergy、StorNext、ImageSAN等，这样应用存储本身就可以作用MDC服务器，实现共享存储设备的高效和稳定地管理。</p>
<p>为了保证应用存储的软件应用功能能够长时间稳定，建议存储内置的软件及服务只是对应用存储内部对外空间中的数量对处理，如对视频文件进行转码，减帧，或在线播放和下载服务。软件及服务本身不产生大量文件，或文件本身不会经常变化，如大型的数据库软件。当然应用软件及服务也不是一成不变的，用户可以针对实际需要进行少量的参数调整。</p>
<p><span style="font-size: 12pt"><strong>2.3 优势特点</strong></span><br />
应用存储是指当存储设备本身所能提供的性能远超过系统需求时，借用存储设备的高可性和稳定性，在存储上运行一定的应用软件服务。与普通存储设备相对，应用存储除了增加了许多软件应用及服务功能，也将改变很多应用系统的架构设计。</p>
<p>高可用性</p>
<p>存储设备一般都基于模块化、冗余的、支持热插拔的原则而设计的，消除了内部的单点故障，其它安全性和稳定性远超于系统中采用的普通PC服务器，应用软件和服务器内在存储内部，能够为系统提供更高的稳定性和系统安全性。</p>
<p>高效性</p>
<p>存储设备的核心，即控制器，一般都采用专门设计的总线结构、专门的处理芯片和缓存，在数据校验和数据传输方面做了优化。长时间运行情况下，应用存储不仅能保证软件和服务器功的安全和稳定，还能保证具有比普通PC服务器具有更高的运行和计算效率，可为系统提供更高的服务质量。</p>
<p>系统架构简单</p>
<p>由于应用存储中集中的许多软件应用和服务功能，在系统结构设计时，就可以节省大量的PC服务器和与之相连接的网络连接设备和网络接口卡，极大地简化了系统中结构。系统结构的简单化有利用优化系统的工作流程，提高系统的运行效率。同时由于减少系统所需的设备类型及数量，也可以大大减小系统的建设成本。</p>
<p>节省带宽</p>
<p>若采用应用存储，视频转码等软件或服务运行在应用存储设备，完成视频文件转码的整个过程中，数据仅在存储设备内部的控制器和磁盘之间传输，不需要外部服务器参与，也不需要网络设备进行传输和交换，因而也不需要占用网络系统的带宽。外部服务器和工作站可获得更多的网络资料进行其它的操作。</p>
]]></content:encoded>
			<wfw:commentRss>http://www.sansky.net/article/2007-05-12-video-surveillance-3.html/feed</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
		<item>
		<title>答网友提问：主机通道带宽等概念</title>
		<link>http://www.sansky.net/article/2007-05-12-a-netizen-question-mainframe-channel-bandwidth-concept.html</link>
		<comments>http://www.sansky.net/article/2007-05-12-a-netizen-question-mainframe-channel-bandwidth-concept.html#comments</comments>
		<pubDate>Sat, 12 May 2007 14:31:31 +0000</pubDate>
		<dc:creator>sansky</dc:creator>
				<category><![CDATA[存储技术]]></category>
		<category><![CDATA[带宽]]></category>
		<category><![CDATA[主机接口]]></category>
		<category><![CDATA[DISK]]></category>
		<category><![CDATA[FC]]></category>
		<category><![CDATA[IOPS]]></category>
		<category><![CDATA[NAS]]></category>
		<category><![CDATA[SAN]]></category>

		<guid isPermaLink="false">http://www.sansky.net/?p=193</guid>
		<description><![CDATA[问： 最大主机通道带宽，最大磁盘通道带宽，最大IOPS ，以及MB/sec，相应的概念怎么理解啊，这个最大是怎么算出来的，例如有四个主机端口，最大主机带宽 是指4个端口的合计带宽么？那最大磁盘带宽又是怎么说那，难道是插满磁盘测出来的？ 回答： 假设存储设备有四个主机端口，4个磁盘端口，接... ]]></description>
			<content:encoded><![CDATA[<p>问：</p>
<p>最大主机通道带宽，最大磁盘通道带宽，最大IOPS ，以及MB/sec，相应的概念怎么理解啊，这个最大是怎么算出来的，例如有四个主机端口，最大主机带宽 是指4个端口的合计带宽么？那最大磁盘带宽又是怎么说那，难道是插满磁盘测出来的？</p>
<p>回答：</p>
<p>假设存储设备有四个主机端口，4个磁盘端口，接口类型为4Gb。那么最大主机接口带宽为4*4=16Gb/s，最大磁盘接口带宽为4*4=16Gb/s，但这仅仅是接口带宽，不表示整个存储系统的实际可用带宽就是16Gb/s。一般地，控制器的实际输出能力都会远低于接口带宽，只有接口带宽的1/3-1/2。因此看到一个存储设备时，绝对不能因为它有几个4Gb接口，就说它有n*4Gb的带宽。NAS设备、ISCSI设备都是一样的。存储设备的最大带宽和最大IOPS取决于控制器的处理能力，同时又受到接口数量、扩展柜数量和硬盘数量的影响。<span id="more-193"></span></p>
<p>当从存储中读取数据时数据流经路线为：磁盘-扩展柜背板-扩展柜接口-控制器磁盘接口-控制器-控制器主机接口-主机。写入时的数据流经路线相反。</p>
<p>假设控制器真的具有16Gb/S的输入输出能力，则为了获得最大带宽，首先必须配置54块以上数量的磁盘（此数量中不含校验盘和热备盘等，每块磁盘的实际带宽按30MB/S计算），54块磁盘平均分布在4个4Gb接口的扩展柜中，4个扩展柜分别与4个控制器磁盘接口连接。这样才能保证磁盘的总带宽大于等于扩展柜的总带宽，扩展柜的总带宽大于等于磁盘接口的总带宽，磁盘接口的总带宽大于等于控制器的总带宽。只有这样控制器才有可能发挥出16Gb/S的输入输出能力。</p>
<p>如果该存储后端只连接两个扩展柜，每个扩展柜中安装5块10000转FC磁盘。那么即使控制器有16Gb/s的数据处理能力，但由于只安装了两个扩展柜，每个扩展柜中只安装了5块磁盘，那么每个扩展柜的实际最大带宽只有150MB/S，两个扩展柜的实际最大带宽为300MB/S。那么这套存储设备的最大输入输出能力也就只有300MB/S。</p>
<p>在设计一个存储系统的带宽时，一定要考虑到控制器的最大带宽、主机端口数量、磁盘端口数量、扩展柜数量和磁盘数量等个方面。存储系统的IOPS也可以采用类似的方法进行分析。</p>
<p>建议磁盘总带宽不少于要求带宽的1.5-2倍，磁盘总IOPS不少于要求的IOPS 2倍。当存储容量较小时，可通过采用低容量硬盘的方式来增加磁盘数量。</p>
]]></content:encoded>
			<wfw:commentRss>http://www.sansky.net/article/2007-05-12-a-netizen-question-mainframe-channel-bandwidth-concept.html/feed</wfw:commentRss>
		<slash:comments>6</slash:comments>
		</item>
		<item>
		<title>网络存储系统的瓶颈分析</title>
		<link>http://www.sansky.net/article/2007-05-12-netstor.html</link>
		<comments>http://www.sansky.net/article/2007-05-12-netstor.html#comments</comments>
		<pubDate>Sat, 12 May 2007 14:20:03 +0000</pubDate>
		<dc:creator>sansky</dc:creator>
				<category><![CDATA[存储技术]]></category>
		<category><![CDATA[带宽]]></category>
		<category><![CDATA[网络视频]]></category>
		<category><![CDATA[DISK]]></category>
		<category><![CDATA[非线性编辑]]></category>
		<category><![CDATA[FC]]></category>
		<category><![CDATA[FC-SAN]]></category>
		<category><![CDATA[IOPS]]></category>
		<category><![CDATA[ISCSI]]></category>
		<category><![CDATA[NAS]]></category>
		<category><![CDATA[RAID]]></category>
		<category><![CDATA[SAN]]></category>
		<category><![CDATA[数据库]]></category>

		<guid isPermaLink="false">http://www.sansky.net/?p=184</guid>
		<description><![CDATA[        存储网络系统由存储设备、网络设备和主机三个部分组成。存储设备是指该系统中采用的NAS、iSCSI、FC-SAN等磁盘阵列设备，网络设备是指FC交换机或以太网交换机，主机是指安装了以太网卡、FC HBA卡，并安装了一定应用软件的主机设备。存储系统的瓶颈分析主要是看这三个部分中哪一种会首... ]]></description>
			<content:encoded><![CDATA[<p>        存储网络系统由存储设备、网络设备和主机三个部分组成。存储设备是指该系统中采用的NAS、<a href="http://www.sansky.net/article/tag/iscsi" class="st_tag internal_tag" rel="tag" title="标签 ISCSI 下的日志">iSCSI</a>、<a href="http://www.sansky.net/article/tag/fc" class="st_tag internal_tag" rel="tag" title="标签 FC 下的日志">FC</a>-SAN等磁盘阵列设备，网络设备是指FC交换机或以太网交换机，主机是指安装了以太网卡、<a href="http://www.sansky.net/article/tag/fc" class="st_tag internal_tag" rel="tag" title="标签 FC 下的日志">FC</a> HBA卡，并安装了一定应用软件的主机设备。存储系统的瓶颈分析主要是看这三个部分中哪一种会首先达到其性能的最大值。</p>
<p>存储成为整个系统的瓶颈是指存储设备的带宽达到最大值，或IOPS达到最大值，存储设备限制了系统性能的进一步提升，甚至影响了整个系统的正常运行。由于不同业务系统对存储的性能要求不同，一般小文件（小于1MB）读写型的系统中对IO的要求较高，大文件的读写型系统对存储设备带宽的要求比较高。不用应用模式下系统对存储设备的要求不同，瓶颈点出现的位置和特点也不一样。<span id="more-184"></span></p>
<p>应用模式1：小型网站系统，应用大多集中于远程用户对WEB页面访问，网站内部为WEB服务器和数据库之间的读写，应用系统对存储的压力非常小，差不多所有类型、所有档次的存储设备都可以作为核心存储，存储设备的带宽和IOPS很难会达到极限。在这样的系统中，与存储设备连接的网络设备一般都千兆以太网交换机，交换机本身的交换能力大多都是10Gb，只有接入网部分的可用带宽较小，一般只有100Mb/s左右的接入带宽，因此接入网最有可能成为存储网络的瓶颈。</p>
<p>应用模式2：如果该网站是一个大型的网络视频系统，支持大量用户在线进行视频节目播放和下载，这种类型的网站前端接入网一般都在2Gb/s以上。此时要分析瓶颈位置，首先要比较接入网带宽和存储带宽，同时还要比较在线用户的最大IO访问量和存储设备的IOPS值。一般来讲，由于NAS设备的带宽和IOPS相对较小，因此NAS比iSCSI和FC-SAN设备更容易成为系统的瓶颈，而iSCSI和FC-SAN较难成为瓶颈。如果存储设备采用NAS，则存储系统成为瓶颈的机率大于接入网，如果存储设备采用FC-<a href="http://www.sansky.net/article/tag/san" class="st_tag internal_tag" rel="tag" title="标签 SAN 下的日志">SAN</a>，则存储系统成为瓶颈的机率小于接入网。<br />
瓶颈还经常会出现在负责节目播放和下载功能的视频服务器处。如果视频服务器配置的数量不足，或视频服务器之间无法正常地实现自动地网络负载均衡，那么整个系统的性能压力瓶颈就会出现在视频服务器，使用整个视频网站无法给远程用户提供流畅的节目画面。</p>
<p>应用模式3：数据库系统，数据库系统的存储应用一般都表现为大量的IO访问，对带宽要求较低。如果存储设备的IOPS较小时，会降低数据库的检索和查寻速度，从来影响整个业务的效率。因此建议数据库系统采用IOPS（可按业务规模、工作站数量、每秒的读写访问次数和估算）比较大的FC-SAN设备，不建议采用IOPS相对较小的NAS或iSCSI设备。大型数据库存储最好能采用15000RPM的高速FC磁盘，这样才能将数据库服务器成为整个系统的压力瓶颈。由于SATA硬盘在随机IO读写时的性能不佳，因此存储设备不建议采用SATA磁盘，否则存储设备极有可能数据库系统的IOPS瓶颈。</p>
<p>应用模式4：非线性编辑制作系统。在非线性编辑制作网络中，所有工作站共享式地访问核心存储系统，每台工作站同时以50-200Mb/S的恒定码率访问存储设备。业务系统对带宽的压力非常，而IOPS压力较小。<br />
存储设备的总可用带宽越大，存储设备就能支持更多数量的编辑制作工作站，网络的规模就越大，网络系统所能承担的业务就越重要。因此编辑制作网的存储一般都会选择主机端口多、特别是磁盘端口多、带宽大的FC-SAN设备。存储设备内部设计时，一般会通过增加磁盘数量、增加扩展柜数量、跨扩展柜创建RAID组、增加主机通道数量等方式最大限度地利用存储控制器前端和后端的总可用带宽，使得磁盘、磁盘通道、主机通道等的总带宽大于控制器的总带宽，这样在工作站访问时存储设备时，才能最大地发挥出控制器的带宽性能。带宽瓶颈在控制器部位才能说明是最好的存储系统设计方案。</p>
]]></content:encoded>
			<wfw:commentRss>http://www.sansky.net/article/2007-05-12-netstor.html/feed</wfw:commentRss>
		<slash:comments>1</slash:comments>
		</item>
	</channel>
</rss>

