Uma empresa tende a trabalhar com uma quantidade significativa de dados, até porque hoje qualquer pessoa com um dispositivo digital gera dados.
Em RAID e NAS, um rebuild ou uma inicialização sem diagnóstico pode reduzir as hipóteses de recuperação. Antes de mexer, conheça a recuperação de RAID, com diagnóstico gratuito.
Ou seja, estão a ser criados novos dados a cada segundo, e armazená-los é um desafio.
Afinal, é preciso recolher esses dados e organizá-los para identificar padrões que a sua empresa possa aproveitar.
Mas a capacidade de armazenamento da sua empresa é limitada. Acrescentar mais armazenamento aumenta os custos e, ainda assim, precisa de guardar todos esses dados.
Qual é a solução?
É a deduplicação de dados, que não é o mesmo que armazenamento de instância única nem que compressão.
Neste artigo, veja em que difere destes processos, quando usar a deduplicação e como funciona.
O que significa data deduplication?
Significa deduplicação (ou desduplicação) de dados: um processo que elimina cópias redundantes de dados e reduz o espaço de armazenamento necessário.
As técnicas de deduplicação fazem com que apenas uma instância de cada conjunto de dados fique guardada no dispositivo de armazenamento, seja um disco, memória flash ou outro.
Os blocos de dados redundantes são substituídos por um ponteiro para a cópia única desses dados.
Neste aspeto, a deduplicação segue a mesma lógica da cópia de segurança incremental, que só copia os dados alterados desde a cópia anterior.
Por exemplo, um sistema de e-mail típico pode conter 100 cópias do mesmo anexo de 1 MB.
Se fizer uma cópia de segurança ou o arquivamento da plataforma de e-mail, as 100 cópias são todas guardadas, ocupando 100 MB de espaço.
Com a deduplicação de dados, só uma cópia do anexo é armazenada e todas as outras passam a ser referências a essa cópia.
Assim, neste exemplo, o espaço necessário desce de 100 MB para 1 MB.
Deduplicação ou desduplicação de dados?
Deduplicação e desduplicação de dados são sinónimos. Ambos designam uma tecnologia que poupa espaço e reduz as necessidades de armazenamento ao eliminar dados redundantes.
Isto é, apenas uma instância de cada conjunto de dados fica realmente guardada no dispositivo de armazenamento, como um disco ou uma fita. Os dados redundantes são substituídos por um ponteiro para essa cópia única.
O que é deduplicação de dados?
Como vimos, a deduplicação é um método para eliminar dados redundantes de um conjunto de dados.
Num processo de deduplicação, uma ferramenta identifica as cópias repetidas dos dados e elimina-as, de forma a guardar apenas uma instância.
Ou seja, a deduplicação permite eliminar dados redundantes e gerir as cópias de segurança com mais eficiência, tornando-as também mais leves.
Qual a diferença entre deduplicação e armazenamento de instância única?
O armazenamento de instância única trabalha ao nível do ficheiro inteiro: substitui os ficheiros idênticos de um sistema de ficheiros por referências a uma única cópia guardada. Já a deduplicação pode ir mais fundo: divide os dados em blocos ou segmentos, compara-os pela sua impressão digital (hash) e guarda uma só vez cada bloco repetido, mesmo que apareça em ficheiros diferentes.
Qual a diferença entre deduplicação e compressão?
É fundamental perceber o que distingue as duas técnicas, para saber qual funciona melhor em cada caso.
Veja a seguir as principais diferenças entre deduplicação e compressão:
Processo: na deduplicação, os dados são divididos em blocos e cada bloco comum é guardado uma única vez, enquanto as restantes ocorrências passam a ser referenciadas por ponteiros. Na compressão, os padrões repetidos dentro dos dados são codificados de forma mais compacta para reduzir o tamanho do ficheiro.
Taxa de redução: a compressão reduz o tamanho dos dados numa proporção de 2:1 até 2,5:1, segundo alguns programas, conforme o tipo de ficheiros. Com a deduplicação, as taxas de redução podem variar entre 4:1 e 20:1, e alguns tipos de dados podem chegar a 200:1. Tudo depende do tipo de dados, pelo que o mesmo programa de deduplicação pode obter taxas de redução muito diferentes conforme os dados.
Perda de dados: quando bem implementadas, nenhuma das duas perde informação: a compressão sem perdas reconstrói exatamente o ficheiro original e a deduplicação reconstrói-o a partir dos blocos únicos e dos ponteiros. O risco da deduplicação é outro: como cada bloco existe uma só vez, se esse bloco se danificar, todos os ficheiros que o referenciam ficam afetados.
Alterações nos dados: na compressão, os dados ficam codificados, mas qualquer programa de descompressão comum os devolve ao estado original. Na deduplicação, a estrutura dos dados muda substancialmente, porque passa a depender de valores de hash e ponteiros: sem o programa de deduplicação que os gerou, os dados deduplicados não fazem sentido.
Quando usar a deduplicação de dados (dedup)?
A deduplicação é ideal para operações muito redundantes, como as cópias de segurança, em que o mesmo conjunto de dados é copiado e guardado repetidamente para poder ser recuperado.
É especialmente vantajosa quando as cópias de segurança são mantidas durante períodos de retenção de 30 a 90 dias.
Como funciona a deduplicação de dados?
A deduplicação divide em segmentos o fluxo de dados que recebe, atribui a cada segmento uma identificação única e compara-o com os dados já armazenados.
Se o segmento for novo, é gravado em disco. Se for uma cópia de um segmento já armazenado, é criada uma referência para ele e o segmento não volta a ser guardado.
Por exemplo, um ficheiro ou volume copiado todas as semanas gera uma quantidade significativa de dados duplicados.
Nesse caso, os algoritmos de deduplicação analisam os dados e armazenam apenas os segmentos únicos de cada ficheiro, normalmente já comprimidos.
Este processo pode reduzir em média entre 10 e 30 vezes a capacidade de armazenamento necessária, com políticas de retenção de cópias de segurança habituais em dados empresariais.
Isto significa que as empresas podem guardar entre 10 TB e 30 TB de cópias de segurança em 1 TB de disco, com enormes vantagens económicas.
Deduplicação ao nível de ficheiro
Nesta modalidade, deixam de se guardar cópias repetidas de ficheiros, que são substituídas por uma referência para o ficheiro original.
Através da “impressão digital” de cada objeto (uma sequência de caracteres única para cada ficheiro), o sistema verifica se esse ficheiro já está armazenado.
Conforme a solução de deduplicação, esta impressão digital baseia-se normalmente em funções de hash ou nos atributos do ficheiro.
Esta é a modalidade mais fácil de implementar, já que os índices são menores e exigem menos processamento.
Em contrapartida, poupa menos espaço do que a deduplicação ao nível de bloco, até cerca de 80% do espaço de armazenamento.
Isto porque, ao trabalhar ao nível do ficheiro, o sistema trata qualquer alteração, por mínima que seja, como um ficheiro novo.
Importa referir que a maior poupança se nota no armazenamento partilhado (como sistemas NAS ou pastas partilhadas), que costumam ter várias cópias dos mesmos ficheiros.
Além disso, a eficácia da deduplicação também depende do tipo de ficheiros. Imagens e áudio, por exemplo, são normalmente únicos e pouco beneficiam do processo, ao passo que modelos e ficheiros do sistema costumam ter boas taxas de deduplicação.
Deduplicação ao nível de bloco
Mais profunda, a deduplicação ao nível de bloco analisa cada ficheiro bloco a bloco.
Assim, quando um ficheiro é alterado, o sistema guarda apenas as partes (os chamados blocos) que mudaram em relação ao original.
Como cada bloco tem a sua própria identificação (normalmente gerada por um algoritmo de hash), o sistema compara-a com os metadados já armazenados.
Desta forma, poupa-se mais espaço: a redução obtida com a deduplicação ao nível de bloco pode chegar aos 95%.
Em contrapartida, esta modalidade exige mais processamento, já que o número de objetos (blocos) a tratar é muito maior.
Armazenamento na nuvem para as cópias de segurança
Para reduzir ainda mais o espaço ocupado e poupar no armazenamento, o ideal seria usar um sistema de cópias de segurança com armazenamento na nuvem.
O problema é que a maioria dos fornecedores de armazenamento na nuvem não oferece deduplicação nativa e, quando oferece, cobra à parte.
A alternativa é usar um programa de deduplicação independente, que só envia para a nuvem dados já deduplicados.
Precisa de recuperar dados de um disco com deduplicação?
Também um disco com deduplicação pode sofrer danos físicos ou falhas que provoquem a perda de dados.
Quando isso acontece, o ideal é recorrer a um serviço especializado em recuperação de dados, que tenha as melhores hipóteses de lhe devolver os ficheiros e documentos em segurança, sem o risco de danificar ainda mais o disco.
Na Bot, por exemplo, trabalhamos numa sala limpa Classe 100 (ISO 5), um ambiente com as partículas controladas, para proteger o seu disco durante a intervenção.
Além disso, temos mais de duas décadas de experiência a recuperar dados e já tratámos mais de 200 mil casos.
Leia também
Conclusão
A deduplicação (ou desduplicação) é um processo que elimina cópias repetidas de dados e reduz significativamente a capacidade de armazenamento necessária.
Ao contrário do que algumas pessoas pensam, a deduplicação não é o mesmo que compressão nem que armazenamento de instância única, e divide-se em dois tipos: ao nível de ficheiro e ao nível de bloco.
A deduplicação é indicada para operações muito redundantes (como as cópias de segurança), sobretudo com períodos de retenção de 30 a 90 dias, e os dados deduplicados podem ser guardados na nuvem para maior segurança.
Por fim, vale destacar que um disco com deduplicação também pode sofrer danos que causem a perda dos seus dados.
Nesse caso, o recomendável é recorrer a uma recuperação de dados profissional, como a que oferecemos na Bot.
Além de tratarmos o seu disco com todo o cuidado, oferecemos a recolha gratuita do seu dispositivo a partir de qualquer morada em Portugal continental e podemos apresentar-lhe um orçamento para a recuperação dos seus dados num prazo máximo de 48 h, ou menos!
Por isso, se quer rapidez e segurança na recuperação dos seus ficheiros e documentos, inicie já a recuperação de dados connosco!
