Toda empresa lida com uma quantidade significativa de dados, até porque, hoje, cada pessoa com um dispositivo digital é uma geradora de dados.
Em RAID e NAS, um rebuild ou uma inicialização sem diagnóstico pode reduzir as chances de recuperação. Antes de mexer, conheça a recuperação de dados de RAID e NAS, com diagnóstico grátis.
Ou seja, novos dados surgem a cada segundo, e armazená-los é um desafio.
Afinal, é preciso coletar esses dados e organizá-los para identificar padrões úteis para o negócio.
Mas a capacidade de armazenamento da sua empresa é limitada. Aumentá-la eleva as despesas, e mesmo assim você continua precisando de todos esses dados.
Qual é a solução?
A deduplicação de dados, que não é sinônimo de armazenamento de instância única nem de compressão.
Neste artigo, veja as diferenças entre esses processos, quando usar a deduplicação e como ela funciona.
O que significa data deduplication?
Significa deduplicação (ou desduplicação) de dados: um processo que elimina cópias redundantes de dados e reduz o volume de armazenamento necessário.
As técnicas de deduplicação fazem com que apenas uma cópia única de cada dado seja mantida na mídia de armazenamento, seja disco, flash ou outra.
Os blocos de dados redundantes são substituídos por um ponteiro para a cópia única.
Nesse sentido, a deduplicação segue a mesma lógica do backup incremental, que copia apenas os dados alterados desde o backup anterior.
Por exemplo, um sistema de e-mail típico pode conter 100 cópias do mesmo anexo de 1 MB.
Ao fazer o backup ou o arquivamento da plataforma de e-mail, as 100 cópias são salvas, ocupando 100 MB de espaço.
Com a deduplicação, apenas uma cópia do anexo é armazenada, e as demais passam a apontar para ela.
Assim, no exemplo, a necessidade de armazenamento cai de 100 MB para 1 MB.
Deduplicação ou desduplicação de dados?
Deduplicação e desduplicação de dados são sinônimos. Os dois termos designam uma técnica que reduz a necessidade de armazenamento e economiza muito espaço ao eliminar dados redundantes.
Ou seja, apenas uma cópia única dos dados é mantida na mídia de armazenamento, como disco ou fita, e os dados redundantes são substituídos por um ponteiro para essa cópia.
O que é deduplicação de dados?
Como vimos, a deduplicação é um método que elimina dados redundantes de um conjunto de dados.
Em um processo de deduplicação seguro, uma ferramenta identifica as cópias extras e as substitui por referências, para que apenas uma cópia seja armazenada.
Assim, a deduplicação permite eliminar dados redundantes e gerenciar a rotina de backup com mais eficiência, com backups mais rápidos e menores.
Qual a diferença entre deduplicação e armazenamento de instância única?
O armazenamento de instância única trabalha com arquivos inteiros: substitui arquivos idênticos em um sistema de arquivos por referências a uma única cópia armazenada. Já a deduplicação pode trabalhar também com partes de arquivos (blocos ou segmentos), comparando os dados pelo conteúdo e removendo ou referenciando os trechos duplicados no conjunto de dados.
Qual a diferença entre deduplicação e compressão?
É fundamental entender o que diferencia as duas técnicas, para saber qual funciona melhor em cada caso.
Veja as principais diferenças entre deduplicação e compressão:
Processo: na deduplicação, os dados são divididos em blocos e comparados entre si; apenas uma cópia de cada bloco é mantida, e as outras ocorrências passam a ser referenciadas por ponteiros. Já na compressão, as redundâncias dentro de cada arquivo ou bloco são codificadas de forma mais compacta para reduzir o tamanho dos dados.
Taxa de redução: a compressão costuma reduzir os dados na proporção de 2:1 a 2,5:1, conforme alguns programas e os tipos de arquivo. Com a deduplicação, as taxas podem ir de 4:1 a 20:1, e alguns dados específicos chegam a 200:1. Tudo depende do tipo de dados, por isso o mesmo programa de deduplicação obtém taxas diferentes conforme o conjunto de dados. As duas técnicas também podem ser combinadas.
Perda de dados: nenhuma das duas, quando bem aplicada, perde informação. A deduplicação mantém uma única cópia dos dados redundantes e reconstrói os arquivos a partir dela. A compressão usada em backups e armazenamento é sem perdas: os dados descompactados ficam idênticos aos originais. O risco está em outro ponto: na deduplicação, se o bloco único for danificado, todos os arquivos que dependem dele são afetados.
Alterações nos dados: a compressão transforma cada arquivo, mas ele continua autocontido e basta descompactá-lo com qualquer programa compatível. Na deduplicação, os dados ficam espalhados em blocos únicos, índices de hash e ponteiros; sem o software ou o sistema que fez a deduplicação, eles não fazem sentido.
Quando usar a deduplicação de dados (dedup)?
A deduplicação é ideal para operações muito redundantes, como os backups, que copiam e armazenam o mesmo conjunto de dados várias vezes para fins de recuperação.
Ela é especialmente vantajosa quando os backups são mantidos por períodos de retenção de 30 a 90 dias ou mais, porque é aí que se acumulam muitas cópias repetidas.
Como funciona a deduplicação de dados?
A deduplicação divide o fluxo de dados que chega em segmentos, identifica cada segmento de forma única e o compara com os dados já armazenados.
Se o segmento for único, ele é gravado no disco. Se for uma duplicata de algo já armazenado, cria-se uma referência para ele e o segmento não é gravado de novo.
Por exemplo, um arquivo ou volume que tem backup toda semana gera uma grande quantidade de dados duplicados.
Nesse caso, os algoritmos de deduplicação analisam os dados e armazenam apenas os segmentos únicos, geralmente também comprimidos.
Esse processo pode reduzir em média de 10 a 30 vezes a capacidade de armazenamento necessária, com políticas típicas de retenção de backup em dados corporativos comuns.
Isso significa que uma empresa pode guardar de 10 TB a 30 TB de dados de backup em 1 TB de disco, o que traz enormes benefícios econômicos.
Deduplicação em nível de arquivo
Nesta modalidade, o sistema deixa de armazenar cópias repetidas de arquivos e as substitui por uma referência ao arquivo original.
Pela “impressão digital” de cada arquivo (uma sequência de caracteres exclusiva), o sistema verifica se ele já está armazenado.
A impressão digital normalmente se baseia em funções de hash ou em atributos do arquivo, dependendo da solução de deduplicação.
É a modalidade mais fácil de implementar, já que os índices são menores e exigem menos processamento.
Por outro lado, economiza menos espaço que a deduplicação em nível de bloco, chegando no máximo a cerca de 80% de economia.
Isso porque, trabalhando em nível de arquivo, o sistema trata qualquer alteração mínima como um arquivo novo.
Vale destacar que a maior economia aparece no armazenamento compartilhado (como sistemas NAS e pastas compartilhadas), que costumam ter várias cópias dos mesmos arquivos.
Outro ponto: a eficiência da deduplicação também depende do tipo de arquivo. Imagens e áudios, por exemplo, geralmente são únicos e pouco se beneficiam do processo, enquanto modelos de documentos e arquivos de sistema costumam ter boa taxa de deduplicação.
Deduplicação em nível de bloco
Mais detalhada, a deduplicação em nível de bloco verifica se cada bloco de dados é único, e não apenas cada arquivo.
Quando um arquivo é alterado, o sistema armazena apenas as partes (os blocos) modificadas em relação ao original.
Como cada bloco tem uma identificação própria (normalmente gerada por um algoritmo de hash), o sistema a compara com os metadados já armazenados.
Assim, a economia de espaço é maior: a redução com a deduplicação em nível de bloco pode chegar a 95%.
Em compensação, essa modalidade exige mais processamento, já que o número de objetos (blocos) a analisar é bem maior.
Armazenamento em nuvem para backup
Para reduzir ainda mais o espaço ocupado e economizar em armazenamento, uma opção é usar um sistema de backup com destino na nuvem.
O problema é que muitos provedores de armazenamento não oferecem deduplicação nativa e, quando oferecem, cobram à parte.
A alternativa é usar um software de deduplicação independente, que envia para a nuvem apenas dados já deduplicados.
Precisa recuperar dados de um sistema com deduplicação?
Mesmo os discos de um sistema com deduplicação podem sofrer danos físicos ou falhas que causam perda de dados. E, como um mesmo bloco pode ser usado por muitos arquivos, a recuperação nesses casos é ainda mais delicada.
Quando isso acontece, o ideal é recorrer a um serviço especializado em recuperação de dados, para ter as melhores chances de recuperar seus arquivos e documentos com segurança, sem o risco de comprometer ainda mais o disco.
Na Bot, por exemplo, trabalhamos na sala limpa WhiteRoom® Classe 100 (ISO 5), um ambiente com controle rigoroso de partículas, que protege o interior do disco quando é preciso abri-lo.
Além disso, temos mais de duas décadas de experiência recuperando dados e já atendemos mais de 200 mil casos.
Leia também
Conclusão
A deduplicação (ou desduplicação) é um processo que elimina cópias redundantes de dados e reduz bastante a capacidade de armazenamento necessária.
Ao contrário do que muitos pensam, a deduplicação não é o mesmo que compressão nem que armazenamento de instância única, e pode ser feita em dois níveis: de arquivo e de bloco.
A deduplicação é indicada para operações muito redundantes (como backups), sobretudo com retenções de 30 a 90 dias ou mais, e pode ser combinada com o armazenamento em nuvem para manter uma cópia fora da empresa.
Por fim, vale lembrar que os discos de um sistema com deduplicação também podem sofrer danos que causam a perda de dados.
Nesse caso, o recomendado é recorrer a uma recuperação de dados profissional, como a da Bot.
Além de trabalharmos em sala limpa, oferecemos envio gratuito do seu dispositivo a partir de qualquer lugar do Brasil e diagnóstico gratuito em até 48 h (ou em até 24 h no serviço prioritário e 12 h no urgente).
Então, se você quer agilidade e segurança para recuperar seus arquivos e documentos, inicie já sua recuperação de dados com a Bot!
