Что такое компрессия и дедупликация на стороне источника и как они влияют на скорость бэкапа?

Процесс передачи резервных копий по сети часто упирается в ограничения пропускной способности каналов связи, особенно если офисы компании распределены территориально. Для решения этой проблемы применяются алгоритмы уменьшения объема данных непосредственно на компьютере или сервере-источнике до того, как они отправятся в хранилище.

Компрессия или сжатие данных анализирует файлы на наличие повторяющихся последовательностей байтов и упаковывает их более компактно. Существуют различные алгоритмы сжатия, предлагающие баланс между скоростью обработки и степенью уменьшения размера. Сильное сжатие экономит место на диске и трафик, но серьезно нагружает центральный процессор машины, выполняющей резервное копирование.

Дедупликация на стороне источника работает на уровне блоков данных, а не файлов. Система разбивает поток информации на мелкие блоки и вычисляет для каждого уникальный математический хэш. Если такой блок уже отправлялся ранее в предыдущих сессиях бэкапа, повторно он не передается, а на него создается простая ссылка.

Использование этих технологий существенно снижает нагрузку на сетевую инфраструктуру и позволяет сократить время создания резервных копий в часы пиковой нагрузки. Однако администраторам необходимо учитывать, что слабая вычислительная техника на источнике может значительно замедлить процесс из-за интенсивных математических вычислений, необходимых для дедупликации.