尽管重复数据删除的概念非常先进，但由于识别重复数据、索引唯一数据、将被紧凑的数据恢复到初始状态所需要的处理能力要求的成本太高，致使这项技术的推广非常缓慢。但是，随着技术的发展，处理能力越来越经济高效，重复数据删除技术在近期再次成为市场的焦点。

许多厂商都声称自家提供的是’最佳’的重复数据删除产品，而将辨别真伪和判断哪些因素对企业的业务更为重要的难题留给了迷茫的用户。甚至有些厂商不切实际的大肆渲染自家产品可以巨量删除重复数据，致使很多早期的重复数据删除用户对他们之前选择的解决方案感到非常失望。

企业想要找到可以真正提供经济效益、高性能且无限扩展的长期数据储存的重复数据删除技术，就必须充分考虑到一些关键性因素。本文将有助于那些想要使用重复数据删除技术的用户了解更多背景资料，从而做出明智的购买选择。

重复数据删除成为一项操作需求

由于二级存储卷的不断增加，企业需要一种方法可以极大的减少数据卷。而很多法律法规的变化，也使得企业面临更大的挑战，被迫不得不改变他们原有的数据保护方式。通过消除重复数据，使数据归档时尽可能的紧凑、简洁，不仅极大的削减了企业成本，同时企业还可以将更多的数据在线保留更长时间。很多企业都希望将数据存储环境的成本效益和性能发挥到最优，而重复数据删除正是这样一种技术，因此很快吸引了企业IT主管的眼球。

虽然压缩技术也可以提供平均值为2：1的数据压缩，但这对于企业需要处理的海量数据只不过是很小的部分，实在是杯水车薪。只有重复数据删除技术才能满足企业大量削减数据量的需求。

由于人们对物理搬运磁带的方式所面临的风险（损坏、被窃、丢失等）早已非常明了，而企业在进行远程存储时又特别重视关键信息的保护和风险最小化的问题，电子化传输无疑成为远程传送的最佳选择。在将备份数据以电子传输方式传送到远程站点进行归档时，重复数据删除能够使所需的带宽需求最小化。

优秀的重复数据删除解决方案应该具备的关键性标准

当用户在评估重复数据删除解决方案时，可以将下面的八条标准作为主要评估标准：

• 1 能够解决关键性问题：有效删除重复数据
• 2 能够与当前环境相整合
• 3 VTL容量
• 4 重复数据删除对备份性能的影响
• 5 具备可扩展能力
• 6 支持分布式应用
• 7 能够对存储库提供实时保护
• 8 效率及有效性

1. 能够解决关键性问题：有效删除重复数据

重复数据删除解决方案是否能够真正解决关键问题所在：有效的删除二级存储上的重复数据，是我们首先要考虑的问题。重复的备份数据会造成多次储存需求，只要重复数据不被删除，储存需求就会继续。

ESG集团2007年发布的报告用图表方式说明了备份向新技术发展的必要性。相对于一次全备份来说，增量和差异数据备份也可以减少备份的数据量。

然而，即使是增量备份，在保护基于文件级变化的数据时，还是会备份很多重复的数据。当需要跨越多个站点的多台服务器进行备份时，通过部署重复数据删除解决方案减少存储才是更好的选择。

2. 能够与当前环境相整合

一个高效的重复数据删除解决方案应该对当前IT环境的影响/中断越小越好。许多企业都选择利用VTL备份来避免影响/中断，以在不改变企业当前备份策略、处理或软件的情况下提升备份质量。因此，基于VTL的重复数据删除技术在部署时对环境影响也应该是最小的。它将更多的注意力集中在了备份这个巨大的重复数据存储池上。

基于VTL的t重复数据删除解决方案通常要求使用专用设备，但这并不影响部署的灵活性。一个充分灵活的重复数据删除解决方案应该即可以以软件包形式提供给用户，也可以提供给用户整体的解决方案（Turnkey Appliance），从而最大限度的使用户的现有资源得以利用。

3. VTL容量

如果重复数据删除技术的部署是围绕着VTL进行的，那么VTL自身的容量就必须作为评估的一部分来考虑。重复数据删除节省下的容量是不能解决由于使用不够规格的VTL所引发的问题的。因此，既要全面考虑VTL的功能性、性能、稳定性以及支持能力也要充分考虑重复数据删除的扩展能力。

4. 重复数据删除对备份性能的影响

在哪里、什么时候进行重复数据删除是关系到备份处理性能的非常重要的问题。有些解决方案试图在数据进行备份时删除重复数据，这会使VTL的性能降低多达60%以上，直接造成备份过程太慢和备份窗口太大的严重性能影响。

相比之下，在备份任务完成之后进行重复数据删除的解决方案则不会出现这些问题，而且不会对备份性能带来任何影响。另外，为了最大限度的发挥易管理性，解决方案允许用户依照多种不同的因素，如资源利用、生产进度、创建时间等进行精细（磁带级或磁带组级）的基于策略的重复数据删除。这使得存储经济性轻松实现，同时，也将系统资源的利用发挥到最大。

5. 具备可扩展能力

由于重复数据删除解决方案是用于长期的数据储存的，在容量和性能方面的可扩展能力也是非常重要的考虑因素，而且至少要考虑未来五年甚至更长时间的增长计划。那么，在保证快速访问的前提下，你希望有多少数据保存在磁带上？你需要怎样的数据索引系统呢？

优秀的重复数据删除解决方案提供的架构，无论是在初始部署时，还是面对未来系统的长期增长，都应该能保证最优化（Right-sizing）、最经济的架构规模。集群可以帮助用户满足不断增长的容量需求—即使是N多Petabyte数据增长的环境—而且不会降低重复数据删除的效率或系统的性能。

这个架构还为存储库保护的部分提供了故障切换（Failover）功能。

6. 支持分布式应用

重复数据删除技术，不只是能为单个数据中心带来利益，对于具有多个分支机构或多个站点的大型企业来说，它可以让整个企业的分布式应用受益无穷。一个包含复制和多级重复数据删除的解决方案可以将这一技术的优势发挥到极致。

举例来说，一个企业由1个总部和3个区域代表机构构成，可以在区域代表机构部署一台具备重复数据删除功能的容灾设备，使本地存储及向远程中央站点的复制更为高效。这种解决方案使数据复制到中央站点的带宽需求降到最低，它只不过是用来确定远程的数据是否已经包括在中央的存储库中。所有站点中，只有唯一的数据会被复制到中央站点或是容灾站点，否则所需的带宽就会增大。

7. 能够对存储库提供实时保护

保证对删除重复数据的存储库的访问是非常关键的，因此它不能允许有单点故障发生。一个优秀的重复数据删除解决方案应该包括可以在本地存储故障发生时提供保护的镜像功能，同时也应该具备复制功能以在灾难发生时从提供保护。这种解决方案还应该在出现节点故障时具备故障切换能力，即使是一个集群中的多个节点出现故障，企业也必须能够及时恢复数据同时还要保证业务持续运营。

8. 效率及有效性

与基于文件的重复数据删除方式相比，在SUBFILE或数据块级分析数据的方式删除的冗余数据会更多。比如，一个4MB大小的文件被修改了一行内容，如果是文件级解决方案，整个4MB的文件都必须再被保存，而存储上就需要保存两遍。如果这个文件被发送给多个人（这种情况非常普遍），这种负面的效应也会随之倍增。

大多数SUBFILE重复数据删除处理是通过将大量的数据分割成’块’，就像虚拟磁带匣一样，在相对小尺寸的数据块中搜索重复数据。分割成大块的数据处理速度更快，但发现的重复数据也比较少；而分割成小块的数据可以更轻松的发现更多重复数据，但它在扫描数据时所需的开销也会更高。

如果数据在磁带（或其它应用的数据流）的时候就被分割成’块’，重复数据删除处理在备份软件创建的元数据上就能进行。优秀的解决方案可以分离元数据，从而在分割成’块’的实际数据文件中发现重复数据，这种方式使找到重复数据的机率更高。有些重复数据删除解决方案甚至可以按照所掌握的数据格式来调节分割的’块’的大小。如果能将这些技术结合应用，将使发现的重复数据数量大幅增加。这在重复数据删除解决方案的经济效益标准方面影响重大。

找到最适合的整体解决方案

由于业务应用需要和法律法规的要求，存储的数据量还在不断的增加，重复数据删除也快速上升到至关重要的地位。在大幅消除数据量、削减存储需求、最小化数据保护成本和风险方面，重复数据删除可说是唯一的应对办法。

尽管重复数据删除技术所带来的利益多多，企业还是应该抵御住不时出现的针对这一技术的大肆抄作。无论是哪种方式，重复数据删除的删除比率都可以根据数据自身的格式和保护策略的不同而发生变化。

为了使重复数据删除技术的利益最大化，企业应该从上面提到的几个标准出发，充分考虑，仔细评估，找到真正适合自己的重复数据删除解决方案，而不应该简单的听信于宣传的重复数据删除比率的理论数值。

　　但好消息是硬盘存储的费用在降低，重复数据删除技术则可应用在基于磁盘的虚拟磁带库(VTL)上，通过只备份和保存某段数据一次，从而帮助控制数据量的增长。

　　VTL是基于硬盘的系统，它模拟磁带技术使企业可以用最小的中断将它们安装在已有的环境中。重复数据删除软件(某些VTL提供)保存基线数据集合，然后检查随后的备份集合，寻找重复的数据。当找到重复数据时，它保存很小的数据表达式，这些数据表达式使软件可以根据需要汇编和恢复完整的文件。

　　目前有两种主要的重复数据删除方法：基于散列的方法和基于字节比较的方法。基于散列的方法利用一种算法对输入数据进行处理来创建很小的表达式和数据唯一的标识符(即所谓的散列值)。然后，将其与保存在查寻表中的散列值进行比较。但是，利用查寻表来确定重复的散列串会造成巨大的性能压力，并且可能需要几周时间才能取得最优的重复删除效率。

　　效率更高的方法是在对象级上进行比较。例如，将Word文档与另一个Word文档进行比较，要么采用模式匹配算法;要么采用效率更高的智能分析技术。智能分析在更详细地比较两个文件之前会分析备份文件和参考数据集合来确定可能是冗余的文件。由于把处理重点放在可能的重复数据上，它可以更彻底地去除重复数据和避免不必要的处理新文件。

　　一些技术在数据备份过程中进行重复数据删除。这种在线的重复数据删除会降低备份性能，增加备份的复杂性。另一些技术执行带外的重复数据删除，在执行时，它们首先备份数据，然后再执行重复数据删除。

　　字节级重复数据删除可提供高达25:1数据压缩率。当与典型的VTL特性，即压缩技术配合使用时，企业无须增加存储容量就可在同样的空间中多保存50倍的数据。这种压缩技术不仅使用户可以在线保存更多的数据，并使数据保持更长的在线时间，还带来了将数据保存在硬盘上的优势。例如，把数据保存在硬盘上比保存在磁带上占用更少的物理空间，并大大减少电源、冷却、安全和其他运营与基础设施费用。据最近的一份Gartner报告说，到2008年，50%的数据中心将缺少满足高密度设备需要的电源和冷却容量。

　　重复数据删除技术通过使备份到VTL的费用大大低于纯基于硬盘的数据保护解决方案，改进了数据保护的经济性。同时，它也是数据中心应对急剧增加的能源、劳动力和空间费用，以及管理即将出现的电源和冷却容量短缺的重要的途径。

VTL的性能限制

单论顺序访问速度，其实当前的高速磁带机传输速率并不逊于磁盘阵列，而大型的磁带柜还能通过多个读写头执行多数据流并行备份（Multiple concurrent backup sessions），成倍增加了写入速度。但限制就在于磁带只能顺序读取，如果要还原特定的档案而不是要还原整卷磁带，就必须从头倒带卷到特定位置，非常耗费时间。

相比之下，VTL实际上就是个磁盘阵列，由于磁盘属于可随机读写的媒体，可随时读取磁盘区中的任意位置，还原特定数据的速度远高于磁带。更大的优势在于VTL可模拟任意数量的读写头，因此执行多数据流并行备份时，不会受到读写头数量的限制。一套VTL可同时连接多部备份服务器，同时执行多组备份程序大幅缩短备份时间。

但在底层，VTL是通过软件将磁盘阵列挂载到前端服务器上的LUN仿真成磁带格式，在多个备份数据流同时工作的情况下，很可能会发生多个数据流同时写入同一个控制器或同一个LUN，导致磁盘阵列负担不平衡而造成性能瓶颈。

另外，由于VTL是完全仿真磁带，而内建硬件压缩已经是磁带机的标准功能，因此VTL仿真出来的虚拟磁带也必须具备对应的压缩功能。但问题在于VTL提供的压缩功能多半是利用软件方式完成，非常占用VTL处理器资源，以致严重影响VTL的备份效率。

磁带转存作业占用备份服务器资源

在VTL结合磁带的架构下，VTL是居于缓冲的角色，数据最终还是要转存到后端的磁带上。但关键在于要如何执行转存磁带的作业。

传统的作法都是由前端备份服务器的备份软件，来执行将数据从VTL转存到磁带的作业。具体方法有几种：一种是先把数据从VTL还原到备份服务器上，然后再转存到磁带设备上；另一种则是通过备份软件的磁带复制（clone）功能。在备份软件看来，VTL仿真出来的磁带和磁带没什么不同，因此可事先在VTL上设定与磁带相同规格的虚拟磁带，然后再以磁带复制功能，将VTL中的数据转到磁带上。

无论哪种方式，都需通过前端的备份服务器执行，因此会占用备份服务器的作业时间与处理资源，当备份服务器执行VTL转存磁带作业时，就没办法执行原来的正常备份工作。

但当前企业的数据量都很大，对备份服务器被占用均十分敏感，不见得能允许备份服务器花很多时间去执行转存磁带作业。

容量瓶颈

如前所述，由于VTL是作为磁带的缓冲，显而易见的，如果VTL的容量越大，则留存在VTL磁盘中的备份数据也越多，因此在需要还原数据时，能够降低从最后端的磁带中寻找数据的机率，从而大幅提高还原效率。

虽然多数VTL产品都预留有扩充容量的准备，但比起可通过购买新磁带无限扩充容量的磁带设备，VTL容量仍是相当有限，因此一般的作法是通过政策设定，只在VTL中保留1个月内的备份数据，超过时限的数据就转存{}到磁带，以把VTL的空间让给新的数据。

但对许多要求每天均执行全备份的用户来说，这样的标准仍不易达成，要让VTL保留最近1个月份的数据，将需要非常大的磁盘空间，因此用户不是被迫为VTL购买极大的容量，就是只能在VTL上保留更少天数的数据，以致必须更频繁的执行转存磁带作用。

VTL需持续运行，难以节电

VTL相较于磁带设备虽有性能与可靠性上的优势，但就当前越来越受重视的电力消耗方面来看，却是处于劣势。

磁带柜、自动上带机之类的磁带设备内部主要组件都是机械装置，机械手臂、磁带运输、磁带机磁头等部件，都只有在实际工作时才会被驱动，平时处在待命状态下消耗的功率极低；而且多数企业都只有在下班等离峰时间才会启动磁带设备执行备份，因此磁带设备一天中几乎只有8到10多个小时会全功率运转。

相比下VTL的磁盘阵列就必须维持不间断的运作，尤其像是控制器与风扇等组件的供电都是不能中断的，虽然也可以平时把VTL关机，待要备份／还原时再行开机，但一来重新启动需要时间，二来又会牵涉到前端备份服务器的设置；原先设置好的VTL在关机后就会从备份服务器的备份装置中脱机，VTL重新启动后，还须在备份服务器上重新设定，十分麻烦。

转载地址：http://www.dostor.com/i/n/2007-12-21/0006137537.shtml

虽然VTL问世的时间不过两年多，目前却是相当热门的产品，从市场面来看，主要的储存设备供货商都开始开发 VTL产品线，包括外接式磁盘储存系统的几大知名厂商EMC、NetApp、IBM、HP等以及StorgeTek、Quantun等多家磁带储存设备大厂。

目前国内已经有不少厂商在市场推出VTL，也有用户使用VTL的成功案例，我们也将根据国内的市场情况来考虑推出VTL解决方案产品。 本报告对国内VTL的使用和市场情况做了调研，并进行了技术分析，可用于推出VTL产品的参考。

VTL的市场应用环境

备份是整个存储行业一块很大的市场，从目前的情况看，几乎所有的数据库类应用都需要备份解决方案，即便是广电行业，媒资系统的数据库也需要备份；另外，广电也要有财务、OA等常规业务，这些系统都是需要备份的。其他的行业：电信、金融、政府、电力、制造、中小企业等，备份更是不可或缺。

因此，个人理解VTL的市场目标在于一下几方面：

VTL的类型VTL是把磁盘虚拟成带库，在磁盘介质上模拟出机械臂、磁带机和磁带来进行工作。市场上的虚拟磁带库依照架构不同，有三种形式的VTL： 备份软件模式 一种是集成在某一个备份软件内部的模块，如Bakbone的VTL；这种VTL只能被该备份软件调用，并且不具有标准磁带库的访问和管理方式，因此严格说来还不能算做VTL，只能算作D-D的备份方式，很多备份软件都具有磁盘备份的功能，如：VERITAS NetBackup、EMC Legato、CommVault等； PC架构VTL另一种是单独运行在一个PC 服务器上的VTL软件，在标准的x86平台的服务器上安装通用操作系统（通常为Linux），然后再安装VTL软件；在外接磁盘阵列上虚拟出磁带库和虚拟磁带空间。这种VTL是完全模仿了一个真实的带库，具有机械臂、磁带机和虚拟磁带，用户完全可像一台物理带库一样去管理和使用。代表软件产品有：FalconStor和Sepaton的VTL。 由于软件架构在标准的x86平台和Linux操作系统上，而且储存装置的限制较低，只要服务器支持，可以采用任何SCSI或FC接口的磁盘阵列，与备份服务器端可以藉由SCSI、 iSCSI或FC等接口相连，部署应用上较有弹性。这类型产品相当多，EMC、IBM、Maxxan、同有、众志合达采用的是Falcon的软件技术，而HP 采用Sepaton的技术。嵌入式结构VTL

嵌入式结构VTL也是完全模仿了一个真实的带库，具有机械臂、磁带机和虚拟磁带，只不过它的硬件结构更为专业；VTL控制器采用专业的硬件平台，模块化的结构，采用专用的操作系统将VTL软件安装在专用系统内。这种VTL的典型代表是NetApp、Quantum和Mirage等。

如NetApp通过收购Alacritus软件建立了自己的VTL产品线NearStore，它的VTL产品采用与它的Filer一样的控制器结构，只是微码（fireware)不同。而Quantum公司的 DX系列产品也采用自有的技术专用的硬件结构，只是具体结构没有公布。

Ultera公司的Mirage产品采用ASIC芯片等逻辑电路来实现虚拟磁带库，是完全硬件化的VTL产品。

这种嵌入式结构VTL能够有效避免操作系统+虚拟磁带库软件组成的软件虚拟磁带库存在的易受人为破坏导致数据丢失的安全性问题；具有更高的安全可靠性。

VTL市场现有厂商状况

目前市场上的的VTL产品主要由两大类厂商提供

VTL软件厂商

FalconStor：EMC、IBM、SUN、同有、众志合达、浪潮等多家OEM

Sepaton：自有产品、HP OEM

Alacritus：已被NetApp收购

Diligent：HDS OEM，Overland OEM、SUN OEM

NearTek：EMC开始收购Neartek公司的VTL资产。

VTL硬件厂商：

国际：EMC 、NetApp、HP、IBM 、Quantum、Sepaton、SUN、StorgeTek、Spectra Logic、Mirage、Maxxan、Copan Systems。

国内：同有、众志合达、浪潮等

VTL的优势

VTL相对磁盘备份（D-D）的优势

磁盘备份通常是在备份软件里的一个功能，因此不具备可以虚拟磁带库的功能，在介质管理及空间回收方面会带来很大不便，用户很可能会由于磁盘空间的管理不善而导致备份数据的损坏。

磁盘备份是基于操作系统上的文件系统来进行，文件系统是I/O性能的一大瓶颈；而虚拟磁带库的数据是通常是写在由VTL软件管理的裸设备上的，避免了文件系统带来的性能瓶颈；

磁盘备份方式产生的数据均是暴露在操作系统之上的，很容易受到包括黑客、病毒、人为因素造成的数据丢失问题，从而降低了备份系统安全可靠性；另外，磁盘备份不具备数据压缩功能，这也带来了磁盘空间的浪费。

VTL相对物理磁带库的优势

传统的磁带库的构成包括磁带机驱动器、磁带存储槽、机械手系统、控制器、机械手、条码扫描系统、磁带入库和磁带出库装置等，磁带库的可靠性不仅仅是机械手的磁带交换次数、磁带驱动器的平均故障间隔时间等几个参数的简单运算结果，与磁盘存储设备相比，磁带库具有更多的精密机械、电子元器件，任何元器件的故障均可能会导致整个磁带库运转异常，甚至无法正常工作，而维修更换工作往往需要系统停机，直接影响到用户备份业务应用的连续性。由于磁带库技术较为封闭，许多元器件的维修、更换必须由磁带库原厂商工程师完成，一些关键部件的维修甚至需要返回原厂，磁带库厂商及其工程师的响应速度直接决定了磁带库维修所需的时间；

用于存储用户数据的磁带介质同样存在着很多问题，线性磁带的挂靠失败问题、磁带的B.O.T（Beginning of tape）的可用性问题，磁带磁介质磨损问题等等都会造成用户数据无法读取。对于存储在磁带中的数据的保护，很多用户采用磁带克隆、同时备份多份磁带等方式，但软硬件成本过高、备份恢复速度较慢等因素给用户带来了很大不便。

相比于磁带库，采用磁盘阵列技术的虚拟磁带库产品在可靠性上有着非常大的优势。磁盘阵列及其相关技术已经非常成熟，通常采用模块化设计，方便维护管理人员的维护工作。通常磁盘阵列在多方面均采用了高可靠设计，冗余控制器、冗余电源、冗余散热系统、甚至与主机的链路均采用冗余设计。其磁盘的维护成本也较低廉，RAID功能、热备援磁盘、在线RAID数据重建，没有磁带驱动器所需的定期清洗要求，磁盘热插拔在线更换等等多种功能充分保证了磁盘阵列的可靠性，提高了可维护性。

综上所述，利用磁盘介质虚拟出磁带库，达到和传统带库一样的功能；同时排除了传统带库Robot与Tape的机械故障率，从而大大增强了备份设备的稳定性。基于磁盘存储技术，磁盘介质在I/O性能上远远高于顺序读写的磁带介质，VTL的性能更优；虚拟磁带库可以灵活配置驱动器数量、类型以及磁带插槽数量以适应不同的应用环境，带来管理上的灵活和方便。虚拟磁带库基于RAID磁盘阵列存储技术来保证备份数据的安全，在备份介质上提供了更深一层的保护。

VTL相对备份软件提供功能的优势

一些备份软件产品开始具有一定的虚拟磁带库功能（如BakBone NetVault提供的Virtual Disk Library等）。其做法一般是在备份服务器上安装一个虚拟磁带库的软件模块，通过该模块将备份服务器上的一部分存储空间虚拟为磁带库。

此类解决方案十分简单，成本也很低，具备初级的虚拟磁带库的功能，能够部分解决磁带备份的性能等问题，因此有一部分用户开始采用。

但该方案具有一些明显的弱点。如，共享问题，实现LANFree备份时的管理问题，安全性问题等等，对备份服务器还要耗费很大的系统资源。总的来说，这只能算作上文中磁盘备份方式的一个延伸，它的主要用途是作为磁带备份的一个缓冲，而不能完全脱离传统磁带库。

VTL软件基本技术指标