Como empresa, trabajas con una cantidad enorme de datos, porque hoy en día cualquier persona con un dispositivo digital genera datos. Cada segundo se crean datos nuevos y guardarlos es muy fácil. Al final del día, tienes que recopilarlos y clasificarlos para obtener información útil para tu negocio. Pero tu empresa tiene una capacidad de almacenamiento limitada. Ampliarla aumenta los costes, y aun así necesitas todos esos datos. ¿Cuál es la solución? La deduplicación de datos, que no es lo mismo que el almacenamiento de instancia única ni que la compresión. En este artículo verás en qué se diferencian estos procesos, cuándo usar la deduplicación y cómo funciona.
En RAID y NAS, un rebuild o una inicialización sin diagnóstico puede reducir las posibilidades de recuperación. Antes de tocar nada, conoce la recuperación de RAID, con diagnóstico gratuito.
¿Qué significa deduplicación de datos?
La deduplicación de datos es un proceso que elimina las copias redundantes de los datos y reduce el espacio de almacenamiento necesario.
Las técnicas de deduplicación hacen que solo se guarde una única instancia de cada dato en el dispositivo de almacenamiento, ya sea un disco, una memoria flash, etc. Los bloques de datos redundantes se sustituyen por un puntero a la copia única. En este sentido, la deduplicación se parece a la copia de seguridad incremental, que solo copia los datos que han cambiado desde la copia anterior. Por ejemplo, un sistema de correo electrónico típico puede contener 100 copias del mismo archivo adjunto de 1 MB. Si haces una copia de seguridad o archivas la plataforma de correo, se guardarán las 100 copias, que ocuparán 100 MB. Con la deduplicación, solo se guarda una copia del adjunto y todas las demás apuntan a ella. Así, en este ejemplo, los 100 MB se quedan en 1 MB.
¿Dedup o deduplicación de datos?
Dedup y deduplicación de datos son sinónimos. Ambos términos designan una técnica que reduce el espacio ocupado y las necesidades de almacenamiento eliminando los datos redundantes. Es decir, solo se guarda una única instancia de los datos en el dispositivo de almacenamiento, como un disco o una cinta, y los datos redundantes se sustituyen por un puntero a esa copia única.
¿Qué es la deduplicación de datos?
Como hemos visto, la deduplicación es un método para eliminar los datos redundantes de un conjunto de datos. En un proceso de deduplicación seguro, una herramienta identifica las copias sobrantes de los datos y las elimina para que solo se guarde una instancia. Así, la deduplicación permite eliminar los datos redundantes y gestionar las copias de seguridad de forma más eficiente, además de hacerlas más ligeras.
¿Cuál es la diferencia entre deduplicación y almacenamiento de instancia única?
Mientras que el almacenamiento de instancia única sustituye los archivos idénticos de un sistema de archivos por referencias a una única copia del archivo, la deduplicación compara los datos según sus características (incluso a nivel de bloques, dentro de los archivos) y elimina o marca los duplicados del conjunto de datos.
¿Cuál es la diferencia entre deduplicación y compresión?
Conviene entender qué las diferencia para saber cuál funciona mejor en cada caso. Estas son las principales diferencias entre deduplicación y compresión: Proceso: en la deduplicación, los datos se agrupan según los bloques comunes que contienen. Se conserva una única versión de cada bloque y las demás apariciones se sustituyen por punteros. En la compresión, en cambio, se codifican los datos de forma más compacta, eliminando repeticiones, espacios, etc., para reducir el tamaño del archivo. Tasa de reducción: la compresión reduce los datos en una proporción de 2:1 a 2,5:1, según algunos programas y en función del tipo de archivo. Con la deduplicación, las tasas de reducción pueden ir de 4:1 a 20:1, y algunos datos concretos pueden llegar a 200:1. Todo depende del tipo de datos, por lo que un mismo programa de deduplicación puede obtener tasas de reducción muy distintas. Pérdida de datos: la deduplicación no elimina información: las copias redundantes se sustituyen por referencias y los datos se reconstruyen íntegros al leerlos. La compresión que se usa en almacenamiento y en copias de seguridad también es sin pérdida; solo la compresión con pérdida (la de formatos como JPEG o MP3) descarta información, aunque sin comprometer la utilidad global de los datos. Cambios en los datos: la compresión transforma el archivo, que hay que descomprimir con el programa correspondiente para poder usarlo. Con la deduplicación, lo que cambia es la forma en que los datos se guardan en el disco: hashes, bloques únicos y punteros. Para el usuario los archivos se ven igual, pero solo se pueden leer a través del sistema de deduplicación, por eso recuperar los datos de un disco deduplicado sin sus metadatos es especialmente complejo.
¿Cuándo utilizar la deduplicación de datos (dedup)?
La deduplicación es ideal para operaciones con mucha redundancia, como las copias de seguridad, que copian y guardan una y otra vez el mismo conjunto de datos para poder restaurarlo. Es especialmente útil cuando se conservan copias durante periodos de retención largos, por ejemplo de 30 a 90 días.
¿Cómo funciona la deduplicación de datos?
La deduplicación divide en segmentos el flujo de datos que entra, identifica cada segmento de forma única y lo compara con los datos ya almacenados.
Si el segmento es único, se guarda en el disco. Si es un duplicado de algo ya almacenado, se crea una referencia y el segmento no se vuelve a guardar. Pensemos, por ejemplo, en un archivo o un volumen del que se hace una copia de seguridad cada semana, lo que genera muchos datos duplicados. En este caso, los algoritmos de deduplicación analizan los datos y solo guardan los segmentos únicos, comprimidos, de cada archivo. Con políticas de retención de copias de seguridad habituales y datos corporativos normales, este proceso puede reducir entre 10 y 30 veces el espacio de almacenamiento necesario. Es decir, las empresas pueden guardar de 10 TB a 30 TB de copias de seguridad en 1 TB de disco, con el consiguiente ahorro económico.
Deduplicación a nivel de archivo
Este modo evita guardar varias copias del mismo archivo, que se sustituyen por un enlace al archivo original. Para comprobar si un archivo ya está guardado se usan «huellas digitales» (una secuencia de caracteres única para cada archivo), que suelen calcularse mediante funciones hash o a partir de los atributos del archivo, según la solución de deduplicación. Este método es más fácil de aplicar, porque los índices son más pequeños y se calculan más rápido. En cambio, ahorra menos espacio que la deduplicación por bloques: hasta un 80 %. Esto se debe a que, al trabajar a nivel de archivo, el sistema trata cualquier cambio mínimo como un archivo nuevo. Cabe señalar que el mayor ahorro se consigue en el almacenamiento compartido (como los sistemas NAS o las carpetas compartidas), que suelen contener varias copias de los mismos archivos. Además, la eficacia de la deduplicación depende del tipo de archivo. Las imágenes o el audio, por ejemplo, suelen ser únicos y apenas se benefician del proceso, mientras que las plantillas y los archivos internos del sistema suelen deduplicarse muy bien.
Deduplicación por bloques
Es una modalidad más profunda: la deduplicación a nivel de bloque divide los archivos en bloques y comprueba si cada uno de ellos es único.
Cuando se modifica un archivo, el sistema solo guarda las partes que han cambiado (los bloques) respecto al archivo original. Como cada bloque tiene su propio identificador (normalmente generado con un algoritmo hash), el sistema lo compara con los metadatos ya almacenados. Así se ahorra más espacio: la reducción con deduplicación a nivel de bloque puede llegar al 95 %. A cambio, esta modalidad exige más capacidad de cálculo, porque el número de objetos (bloques) que hay que procesar es mucho mayor.
Almacenamiento en la nube para copias de seguridad
La forma ideal de reducir aún más el espacio ocupado y ahorrar en almacenamiento sería usar un sistema de copias de seguridad con un back-end en la nube. El problema es que la mayoría de los proveedores de almacenamiento no ofrecen deduplicación nativa y, cuando la ofrecen, la cobran aparte. La alternativa es usar un programa de deduplicación independiente para subir a la nube solo los datos ya deduplicados.
¿Necesitas recuperar datos de un disco con deduplicación?
Incluso un disco con deduplicación puede sufrir daños físicos o fallos que provoquen la pérdida de datos.
Cuando esto ocurre, lo ideal es recurrir a un servicio especializado en recuperación de datos para recuperar tus archivos y documentos de forma segura, sin riesgo de dañar aún más el disco. En Bot, por ejemplo, trabajamos en una sala blanca Clase 100 (ISO 5), un entorno en el que se controlan las partículas del aire y que protege tu disco durante la intervención. Además, tenemos más de dos décadas de experiencia en la recuperación de datos, también en sistemas con deduplicación, y hemos atendido más de 200.000 casos.
Lee también
Conclusión
La deduplicación (o dedup) es un proceso que elimina las copias redundantes de los datos y reduce mucho las necesidades de almacenamiento. Al contrario de lo que algunos creen, no es lo mismo que la compresión ni que el almacenamiento de instancia única, y puede hacerse a nivel de archivo o a nivel de bloque. Se recomienda para operaciones con mucha redundancia, como las copias de seguridad, sobre todo con periodos de retención de 30 a 90 días, y puede combinarse con copias en la nube para proteger mejor los datos. Por último, un disco deduplicado también puede sufrir daños que provoquen la pérdida de datos. En ese caso, lo recomendable es recurrir a un servicio profesional de recuperación de datos, como el que ofrecemos en Bot. Además de cuidar la integridad de tu disco, la recogida de tu dispositivo es gratuita (islas no incluidas) y te damos un diagnóstico gratuito en un plazo normal de hasta 48 horas, o menos con el servicio urgente. Si quieres recuperar tus archivos y documentos de forma rápida y segura, empieza tu recuperación con nosotros.
