随着企业创建的数据比以往任何时候都多，组织必须能够最大限度地提高存储容量并在不超支的情况下存储尽可能多的数据。这就是重复数据删除的用武之地。通过使用这种技术，可以在备份之前发现并消除冗余数据。这会导致使用更少的存储空间，从而允许您在原来的位置保存新数据。这还确保您可以有效地备份数据，因为您无需花时间备份相同数据的重复副本。 请记住，每个供应商可能声称他们的产品提供一定的重复数据删除率。例如，供应商可能声称他们可以提供比其他供应商高 20 倍的重复数据删除率，超过竞争对手 200% 以上。然而，许多变量往往会影响实际的重复数据删除率。 让我们了解一下什么是重复数据删除，如何评估重复数据删除率，以及群晖如何利用重复数据删除技术增加选择备份解决方案优势？
什么是重复数据删除？
重复数据删除是指在数据集中识别和移除重复的数据项或记录的过程。这个过程旨在清理数据，以减少存储空间的浪费并提高数据质量。重复数据可能会在许多不同的情况下出现，例如数据输入错误、系统故障或数据集合并。
如何计算重复数据删除率？
为了有效删除重复数据，您的设备必须配备 CPU 和软件技术，以节省存储空间。
使用重复数据删除时，系统会在存储数据块之前识别数据块。每个数据块都被分配一个唯一的标识符号，同时为存储的块创建指纹。然后将存储块的指纹与新写入的数据块进行比较。
如果检测到重复块，系统会生成一个索引，该索引指向重复数据的位置。然后删除冗余数据，以便优化存储容量。
随着勒索软件攻击的风险日益增加，企业必须实施有效的数据备份和恢复计划来安全地存储数据，并在重复数据删除的帮助下确保拥有足够的存储容量。
企业倾向于定期备份大量数据，这可能会导致存储成本增加。新数据或修改数据通常只占备份数据总量的一小部分。这意味着每天备份的大量数据实际上包含重复或冗余数据。这就是重复数据删除的用武之地。
为了有效计算重复数据删除的比率，用户必须计算最终删除的重复数据的百分比。
由于每个供应商计算重复数据删除率的方式不同，我们在下面解释计算重复数据删除率的三个阶段。每个阶段都会产生不同的值：
第一阶段【原始数据集】：去除冗余数据之前需要备份的数据总容量。
第二阶段【重复数据删除后的数据传输】：重复数据删除后可以传输并存储在服务器上的数据量。
第三阶段【实际存储数据】：备份服务器中存储的数据量。
在衡量重复数据删除的效率时，群晖 建议查看第 2 阶段 【重复数据删除后的数据传输】。如果您查看第 1 阶段 【原始数据集】期间生成的值，这可能会产生误导，因为它同时包含“旧”数据和“新”数据，然后将其除以保留的数据总量。一些供应商可能会人为地夸大这个数字，使用户困惑于供应商实际使用哪个阶段来衡量重复数据删除的效率。
如下图，计算数字后有两种不同的结果。两者之间存在巨大差异，这可能会导致混乱，因为企业可能会误解重复数据删除的效果。
在研究竞争对手的产品如何执行重复数据删除时，我们发现了上面列出的三个阶段。将去重前的原始数据集除以目的地所占用的存储空间，即可获得95%的数据缩减率。
然而，企业应该关注传输数据的大小，该大小应除以存储目的地占用的存储空间量。使用该公式计算重复数据删除率时，平均数据减少量约为40~66%。
例如，台湾资生堂利用 群晖备份解决方案中包含的重复数据删除技术，将存储容量增加了 52%。与其他备份供应商相比，群晖以较低的价格提供解决方案，使企业能够节省存储成本并最大限度地提高存储容量，从而可以保护尽可能多的数据。
群晖重复数据删除，最大化存储容量并降低成本
通过牢记企业痛点，群晖实施了重复数据删除技术，使企业现在可以最大限度地降低存储成本，同时最大限度地提高存储容量。
公司倾向于在将数据存储在其存储设备上时持续备份数据。这意味着，如果在写入数据之前未删除重复数据，则会在备份设备上创建临时存储空间。
这就是 群晖在执行备份时实施内联重复数据删除的原因。在写入任何数据之前，系统会同时比较数据内容并执行删除操作，从而减少存储数据所需的存储容量。
同时，群晖还实施了块级全局重复数据删除技术，作为删除多个备份源之间的重复副本的方法。这是为了确保单个文件夹内的多个备份任务之间不会残留冗余数据。这有助于企业节省存储空间而不影响备份性能。
由于数据是一座金矿，企业必须尽一切努力来安全地存储数据。这意味着公司需要在发展过程中提前规划，并选择满足可扩展性和扩展需求的备份解决方案 ，并包含重复数据删除等存储缩减技术，以降低总体拥有成本 (TCO)。因此，评估备份解决方案时，要考虑其重复数据删除技术的性能和效率。群晖的重复数据删除技术在节省存储空间、提升备份效率和保证数据完整性方面提供了明显的优势。
