在Clipper Group2006年8月发布的”备份技术的发展（The Evolution of Backups）”分析白皮书中，分析师针对提升容量效益部分做出了这样的报告：”重复数据删除技术是备份技术的下一个发展步骤。”在二级存储归档时删除重复数据可以大幅削减存储介质的成本、进一步流畅管理任务，同时最小化复制数据时的带宽需求。
尽管重复数据删除的概念非常先进，但由于识别重复数据、索引唯一数据、将被紧凑的数据恢复到初始状态所需要的处理能力要求的成本太高，致使这项技术的推广非常缓慢。但是，随着技术的发展，处理能力越来越经济高效，重复数据删除技术在近期再次成为市场的焦点。
许多厂商都声称自家提供的是’最佳’的重复数据删除产品，而将辨别真伪和判断哪些因素对企业的业务更为重要的难题留给了迷茫的用户。甚至有些厂商不切实际的大肆渲染自家产品可以巨量删除重复数据，致使很多早期的重复数据删除用户对他们之前选择的解决方案感到非常失望。
企业想要找到可以真正提供经济效益、高性能且无限扩展的长期数据储存的重复数据删除技术，就必须充分考虑到一些关键性因素。本文将有助于那些想要使用重复数据删除技术的用户了解更多背景资料，从而做出明智的购买选择。
重复数据删除成为一项操作需求
由于二级存储卷的不断增加，企业需要一种方法可以极大的减少数据卷。而很多法律法规的变化，也使得企业面临更大的挑战，被迫不得不改变他们原有的数据保护方式。通过消除重复数据，使数据归档时尽可能的紧凑、简洁，不仅极大的削减了企业成本，同时企业还可以将更多的数据在线保留更长时间。很多企业都希望将数据存储环境的成本效益和性能发挥到最优，而重复数据删除正是这样一种技术，因此很快吸引了企业IT主管的眼球。
虽然压缩技术也可以提供平均值为2：1的数据压缩，但这对于企业需要处理的海量数据只不过是很小的部分，实在是杯水车薪。只有重复数据删除技术才能满足企业大量削减数据量的需求。
由于人们对物理搬运磁带的方式所面临的风险（损坏、被窃、丢失等）早已非常明了，而企业在进行远程存储时又特别重视关键信息的保护和风险最小化的问题，电子化传输无疑成为远程传送的最佳选择。在将备份数据以电子传输方式传送到远程站点进行归档时，重复数据删除能够使所需的带宽需求最小化。
优秀的重复数据删除解决方案应该具备的关键性标准
当用户在评估重复数据删除解决方案时，可以将下面的八条标准作为主要评估标准：
- 1 能够解决关键性问题：有效删除重复数据
- 2 能够与当前环境相整合
- 3 VTL容量
- 4 重复数据删除对备份性能的影响
- 5 具备可扩展能力
- 6 支持分布式应用
- 7 能够对存储库提供实时保护
- 8 效率及有效性
1. 能够解决关键性问题：有效删除重复数据
重复数据删除解决方案是否能够真正解决关键问题所在：有效的删除二级存储上的重复数据，是我们首先要考虑的问题。重复的备份数据会造成多次储存需求，只要重复数据不被删除，储存需求就会继续。
ESG集团2007年发布的报告用图表方式说明了备份向新技术发展的必要性。相对于一次全备份来说，增量和差异数据备份也可以减少备份的数据量。
然而，即使是增量备份，在保护基于文件级变化的数据时，还是会备份很多重复的数据。当需要跨越多个站点的多台服务器进行备份时，通过部署重复数据删除解决方案减少存储才是更好的选择。
2. 能够与当前环境相整合
一个高效的重复数据删除解决方案应该对当前IT环境的影响/中断越小越好。许多企业都选择利用VTL备份来避免影响/中断，以在不改变企业当前备份策略、处理或软件的情况下提升备份质量。因此，基于VTL的重复数据删除技术在部署时对环境影响也应该是最小的。它将更多的注意力集中在了备份这个巨大的重复数据存储池上。
基于VTL的t重复数据删除解决方案通常要求使用专用设备，但这并不影响部署的灵活性。一个充分灵活的重复数据删除解决方案应该即可以以软件包形式提供给用户，也可以提供给用户整体的解决方案（Turnkey Appliance），从而最大限度的使用户的现有资源得以利用。
3. VTL容量
如果重复数据删除技术的部署是围绕着VTL进行的，那么VTL自身的容量就必须作为评估的一部分来考虑。重复数据删除节省下的容量是不能解决由于使用不够规格的VTL所引发的问题的。因此，既要全面考虑VTL的功能性、性能、稳定性以及支持能力也要充分考虑重复数据删除的扩展能力。
4. 重复数据删除对备份性能的影响
在哪里、什么时候进行重复数据删除是关系到备份处理性能的非常重要的问题。有些解决方案试图在数据进行备份时删除重复数据，这会使VTL的性能降低多达60%以上，直接造成备份过程太慢和备份窗口太大的严重性能影响。
相比之下，在备份任务完成之后进行重复数据删除的解决方案则不会出现这些问题，而且不会对备份性能带来任何影响。另外，为了最大限度的发挥易管理性，解决方案允许用户依照多种不同的因素，如资源利用、生产进度、创建时间等进行精细（磁带级或磁带组级）的基于策略的重复数据删除。这使得存储经济性轻松实现，同时，也将系统资源的利用发挥到最大。
5. 具备可扩展能力
由于重复数据删除解决方案是用于长期的数据储存的，在容量和性能方面的可扩展能力也是非常重要的考虑因素，而且至少要考虑未来五年甚至更长时间的增长计划。那么，在保证快速访问的前提下，你希望有多少数据保存在磁带上？你需要怎样的数据索引系统呢？
优秀的重复数据删除解决方案提供的架构，无论是在初始部署时，还是面对未来系统的长期增长，都应该能保证最优化（Right-sizing）、最经济的架构规模。集群可以帮助用户满足不断增长的容量需求—即使是N多Petabyte数据增长的环境—而且不会降低重复数据删除的效率或系统的性能。
这个架构还为存储库保护的部分提供了故障切换（Failover）功能。
6. 支持分布式应用
重复数据删除技术，不只是能为单个数据中心带来利益，对于具有多个分支机构或多个站点的大型企业来说，它可以让整个企业的分布式应用受益无穷。一个包含复制和多级重复数据删除的解决方案可以将这一技术的优势发挥到极致。
举例来说，一个企业由1个总部和3个区域代表机构构成，可以在区域代表机构部署一台具备重复数据删除功能的容灾设备，使本地存储及向远程中央站点的复制更为高效。这种解决方案使数据复制到中央站点的带宽需求降到最低，它只不过是用来确定远程的数据是否已经包括在中央的存储库中。所有站点中，只有唯一的数据会被复制到中央站点或是容灾站点，否则所需的带宽就会增大。
7. 能够对存储库提供实时保护
保证对删除重复数据的存储库的访问是非常关键的，因此它不能允许有单点故障发生。一个优秀的重复数据删除解决方案应该包括可以在本地存储故障发生时提供保护的镜像功能，同时也应该具备复制功能以在灾难发生时从提供保护。这种解决方案还应该在出现节点故障时具备故障切换能力，即使是一个集群中的多个节点出现故障，企业也必须能够及时恢复数据同时还要保证业务持续运营。
8. 效率及有效性
与基于文件的重复数据删除方式相比，在SUBFILE或数据块级分析数据的方式删除的冗余数据会更多。比如，一个4MB大小的文件被修改了一行内容，如果是文件级解决方案，整个4MB的文件都必须再被保存，而存储上就需要保存两遍。如果这个文件被发送给多个人（这种情况非常普遍），这种负面的效应也会随之倍增。
大多数SUBFILE重复数据删除处理是通过将大量的数据分割成’块’，就像虚拟磁带匣一样，在相对小尺寸的数据块中搜索重复数据。分割成大块的数据处理速度更快，但发现的重复数据也比较少；而分割成小块的数据可以更轻松的发现更多重复数据，但它在扫描数据时所需的开销也会更高。
如果数据在磁带（或其它应用的数据流）的时候就被分割成’块’，重复数据删除处理在备份软件创建的元数据上就能进行。优秀的解决方案可以分离元数据，从而在分割成’块’的实际数据文件中发现重复数据，这种方式使找到重复数据的机率更高。有些重复数据删除解决方案甚至可以按照所掌握的数据格式来调节分割的’块’的大小。如果能将这些技术结合应用，将使发现的重复数据数量大幅增加。这在重复数据删除解决方案的经济效益标准方面影响重大。
找到最适合的整体解决方案
由于业务应用需要和法律法规的要求，存储的数据量还在不断的增加，重复数据删除也快速上升到至关重要的地位。在大幅消除数据量、削减存储需求、最小化数据保护成本和风险方面，重复数据删除可说是唯一的应对办法。
尽管重复数据删除技术所带来的利益多多，企业还是应该抵御住不时出现的针对这一技术的大肆抄作。无论是哪种方式，重复数据删除的删除比率都可以根据数据自身的格式和保护策略的不同而发生变化。
为了使重复数据删除技术的利益最大化，企业应该从上面提到的几个标准出发，充分考虑，仔细评估，找到真正适合自己的重复数据删除解决方案，而不应该简单的听信于宣传的重复数据删除比率的理论数值。
29 条回复
有一个疑问，文章有提及,dedup对备份的影响：
边处理边写和写完再处理
第一种在数据量上去后，瓶颈显而易见，虽然很多原厂不承认…
第二种呢，有几个疑问？
1.周末全备份比较多，数据量大的情况下；是否也必须出现写入和dedup同时进行的情况，影响性能，同时也需要占用大量的磁盘空间?
2.由于磁盘内容写入后再dedup，为了释放已写入的空间，需要更频繁的磁盘整理才真正释放空间？
一般来说，写完再处理都会在磁盘上创建一个缓冲区，一个文件写入存储后，立刻进行dedup，同时下一个文件继续写入。整体来看，文件写入和和dedup是同时的。但就某一个文件来看是，先写后dedup的。
问题1：所以需要容量配置时需要有一定的冗余，但并不需要大量的空间。存储设备设计时一般都会有冗余的。
问题2：数据先写入缓冲区，不会使整个空间产生文件碎片。
Wonderful web site. A lot of useful information here. I’m sending it to some buddies ans also sharing in delicious. And obviously, thank you in your effort!
You should take part in a contest for one of the greatest sites on the net. I am going to recommend this site!
Greetings! This is my first visit to your blog! We are a group of volunteers and starting a new initiative in a community in the same niche. Your blog provided us valuable information to work on. You have done a marvellous job!
Spot on with this write-up, I truly feel this website needs much more attention. I’ll probably be back again to read through more, thanks for the info!
Since the admin of this site is working, no doubt very quickly it will be well-known, due to its quality contents.
Wow, awesome blog format! How long have you been blogging for? you make blogging glance easy. The entire glance of your web site is wonderful, let alonesmartly as the content!
This is the right website for anyone who wants to find out about this topic. You realize so much its almost hard to argue with you (not that I personally would want toHaHa). You definitely put a brand new spin on a topic that’s been written about for many years. Great stuff, just excellent!
Hi, i feel that i saw you visited my web site so i got here to go back the favor?.I am trying to find things to improve my site!I assume its good enough to use some of your ideas!!
Have you ever considered about including a little bit more than just your articles? I mean, what you say is fundamental and all. Nevertheless just imagine if you added some great visuals or video clips to give your posts more, “pop”! Your content is excellent but with images and clips, this website could undeniably be one of the greatest in its niche. Terrific blog!
If you are going for best contents like I do, simply visit this web site everyday as it provides quality contents, thanks
Appreciate you sharing, great blog post.Much thanks again. Much obliged.
Thanks for sharing your thoughts on %meta_keyword%. Regards
Undeniably consider that that you stated. Your favourite justification appeared to be at the net the simplest thing to remember of. I say to you, I definitely get irked at the same time as other people consider worries that they plainly do not understand about. You controlled to hit the nail upon the top as smartlyand also defined out the whole thing with no need side effect , other people can take a signal. Will likely be back to get more. Thank you
Thank you for some other fantastic article. Where else may anyone get that kind of information in such a perfect way of writing? I have a presentation next week, and I am at the look for such information.
VIP частный эромассаж Москва цена
This is very interesting, You are a very skilled blogger. I have joined your feed and look forward to seeking more of your fantastic post. Also, I have shared your site in my social networks!
Does your site have a contact page? I’m having problems locating it but, I’d like to send you an e-mail. I’ve got some recommendations for your blog you might be interested in hearing. Either way, great website and I look forward to seeing it expand over time.
My relatives all the time say that I am wasting my time here at net, but I know I am getting knowledge daily by reading such good articles or reviews.
Hi to all, how is everything, I think every one is getting more from this site, and your views are good in favor of new users.
you are in reality a just right webmaster. The site loading speed is incredible. It kind of feels that you are doing any unique trick. Also, The contents are masterpiece. you have performed a fantastic process in this topic!
Simply want to say your article is as surprising. The clearness in your post is simply excellent and i can assume you are an expert on this subject. Well with your permission allow me to grab your RSS feed to keep up to date with forthcoming post. Thanks a million and please keep up the rewarding work.
Yesterday, while I was at work, my sister stole my iPad and tested to see if it can survive a twenty five foot drop, just so she can be a youtube sensation. My iPad is now broken and she has 83 views. I know this is entirely off topic but I had to share it with someone!
Nice blog here! Also your site loads up fast! What host are you using? Can I get your affiliate link to your host? I wish my website loaded up as fast as yours lol
Pretty great post. I simply stumbled upon your blog and wanted to mention that I have really enjoyed browsing your blog posts. In any case I’ll be subscribing on your feed and I am hoping you write again soon!
I blog quite often and I truly appreciate your content. The article has really peaked my interest. I will bookmark your website and keep checking for new information about once a week. I subscribed to your RSS feed as well.
Someone necessarily help to make significantly articles I would state. This is the first time I frequented your web page and to this point? I amazed with the research you made to create this actual publish incredible. Magnificent activity!
You really make it seem so easy with your presentation but I find this topic to be really something which I think I would never understand. It seems too complicated and very broad for me. I am looking forward for your next post, I will try to get the hang of it!