Veeam Backup for Linux

Вообще-то он называется Veeam Agent for Linux. И вчера вышла в релиз версия 1.0.

Для чего нужны агенты? Где без них никак?

Во-первых, это физические машины. И не совсем виртуализированные: например, pRDM диски у виртуальных машин VMware и т.п.

Во-вторых, ВМ, которые расположены на стороне сервис-провайдера. Чего бы вам не обещал провайдер, но если он сломается - он потеряет ваши данные. И вряд ли будет утешением, если этот провайдер закроется после этого, данные не вернуться: моральная компенсация - не Instant Recovery ;).

Из облака данные нужно складывать к себе, на всякий случай. Ну, а если вы решили жить только в облаке, можно агентом бэкапить ВМ из одного облака в другое, к другому провайдеру.

Почему же агентом? Потому что вам никто из провайдеров не даст доступ к API виртуализации для резервного копирования.

Для кого подходит новый бэкап?

Поддерживаемые системы:

• ЦП: x86/x64
• Ядро: 2.6.32 или выше
• ОС: 32- и 64-разрядные версии следующих операционных систем:
• Debian 6.x-8.x
• Ubuntu 10.04-16.10
• RHEL/CentOS/Oracle Linux 6.x-7.x
• Fedora 23, 24
• openSUSE 11.3-13.x, Leap 42.1
• SLES 11 SP1 – 12

Практически весь необходимый функционал - бесплатный. Кроме:

1. Поддержка 24x7 - в платных редакциях (Workstation и Server). В бесплатной - стандартная бесплатная поддержка.
2. Множество исполняемых заданий. Когда нужно копировать в машине - всю систему раз в неделю, пару томов - ежедневно, и несколько папок - раз в час, к примеру. Это в редакции Server.
3. Когда нужно использовать дополнительные скрипты для приведения приложений в целостное состояние. Тоже в редакции Server.

Тип редакции определяется ключем, и может меняться (как в VBR, переустанавливать ничего не нужно). Само собой есть триалы.

Управление и интеграция

Тут не то, что ложка чего-то непотребного в бочку, просто вопрос времени. Бэкап для вас Veeam уже сделал - остальное чуть позже.

1. Интеграция с Veeam Backup & Replication 9.5. Будет с выходом Update 1 для последнего.

К слову, в Update 1 появится и поддержка vSphere v6.5.

Когда? Как будет готов :). Подождите три-четыре недели.

2. Управление.

Тут тоже есть нюансы. Во-первых, есть интерфейс. Во-вторых, есть командная строка. А значить уже можно скриптовать.

Вот так можно экспортировать и импортировать настройки:

veeamconfig config export --file config.txt

veeamconfig config import --file config.txt

Но, зная как Veeam приучил пользователей своих продуктов, что все должно работать просто и удобно даже в матёром энтерпрайзе, предвосхищаю как пользователи начнут требовать красивых гламурных интерфейсов для глобального управления 100500 Linux-серверов. И тут я вам скажу снова: ждите. Veeam Availability Console ожидается в следующем году (кстати, с Наступающим! ;)):

• https://www.veeam.com/ru/managed-backup-portal.html
• https://www.veeam.com/veeamlive/centralized-management-veeam-agents-with-availability-console.html

Гикам на закуску

Ну, а чтобы сгладить ожидание вот вам исходники на наши драйвера для создания снапшотов и наша реализация отслеживания измененных блоков данных для копирования инкрементов (changed block tracking) на GitHub-е: https://github.com/veeam/veeamsnap (лицензия GPL v2).

Ссылки

• Брать здесь: https://www.veeam.com/ru/linux-cloud-server-backup-agent.html
• Очень полезная статья на русском, практически руководство: https://www.veeam.com/blog/ru/veeam-agent-linux-is-available.html
  Обратите внимание на ссылки внизу статьи на подробные дополнительные разделы.
• Юзергайд на английском: https://helpcenter.veeam.com/docs/agentforlinux/userguide/overview.html

Вышел Veeam Availability Suite 9.5

Ссылка: https://www.veeam.com/ru/availability-suite-features.html

Что нового (на англ.)?

Veeam Backup: https://www.veeam.com/veeam_backup_9_5_whats_new_en_wn.pdf
Veeam ONE: https://www.veeam.com/veeam_one_9_5_whats_new_en_wn.pdf

Это релиз половинчатый. На самом деле много изменений внутренних (как говорится, "под капотом").

На что обратить внимание:

Veeam Cloud Connect

Недавно я давал наводку на Best Practice по Veeam бэкапу.

Вот еще одна полезная книжка: "Veeam Cloud Connect v9. A reference architecture to learn, design, implement and manage your Veeam-powered cloud services". Для сервис-провайдеров, разворачивающих облако для предоставления сервисов BaaS (бэкап-эз-э-сервис) и DRaaS (дизастэ-рикавери-эз-э-сервис).

В книге подробно, с примерами, рассказывается как это все настроить, использовать и обслуживать.

Veeam Backup Best Practices

Если кто не в курсе еще. Книга "Veeam Backup & Replication Best Practices" опубликована на GitBook. Можно читать онлайн или скачать в PDF, на Sony Reader (ePub) или Kindle (mobi).
Ну а в FB2 можно конвертировать любой из форматов.

Я думаю вы там сможете найти ответы на большинство своих вопросов и получите огромное количество полезных советов.


Я для себя, например, прямо в первой же главе открыл полезное: Carbon module для PowerShell, которым легко можно не только редактировать файлы hosts, но и управлять локальными данными Windiws-машин. Так что, как обычно, с Veeam вы получаете не только продукты от Veeam Software, но и кучу полезных вещей без относительно бэкапов, виртуализации, и даже ИТ.


Ах, да, ссылка!
Ссылка: https://bp.veeam.expert/

Гранулярные права на NetApp Data ONTAP для работы Veeam Backup

Пробежало в Сети, и я пересказал эту статью для вас, на русском.

Интеграция Veeam Backup & Replication с СХД NetApp (серия FAS с ОС Data ONTAP 8.1 и выше) нужна для использования аппаратных снимков (storage snapshots) для резервного копирования, а также восстановления данных из снапшотов. Для этой интеграции достаточно просто ввести адрес доступа и учетную запись в консоли Veeam Backup для соответствующего СХД.

Но часто возникает проблема: СХД занимается другой отдел, не тот, который управляет виртуализацией или администрирует систему резервного копирования. И отдавать полный доступ администратора не является хорошей мерой с точки зрения безопасности.

В NetApp есть возможность создать учетную запись, с ограниченным доступом к командам и API.

Veeam Backup v.9. Полезные мелочи

У Veeam случился релиз v9!

Как и при прошлом релизе (ссылка), решил написать про мелочи, которые не попали под пресс маркетингового пиара, читай – не сильно пиарились – на то они и мелочи. Но реально облегчат жизнь рядового администратора резервного копирования виртуальных инфраструктур.

Начну по порядку, т.е. с конца, с самого низа документа What’s new v.9 (ссылка) в сторону давно объявленных функций, где тоже отмечу пару вещей.

Improved scalability и Increased job concurrency

Тут особо радует не то что заимпрувили и отинкризили, а то, что есть цифры. Которых так не хватает, когда спрашивают «а потянет ли?», «а сколько в одну джобу виэмок засунуть?», «а сколько джобов делать?» и тэпэ. Две цитаты:

Version 9 has been tested with 5,000 VMs per job

и

running over 100 jobs concurrently

Так что вэлкам в мир управления ИТ политиками! Я имею ввиду «с помощью политик».

VeeamON 2015 и VeeamIO

Для тех, кто, как я, пропустил сиё масштабное мероприятие в Лас-Вегасе с блек-джеком и важными анонсами будет проведен онлайн вебинар:

Did You Miss VeeamON 2015? See the Recap on VeeamLive!

18 ноября в 21:00 по московскому времени.

На английском языке. Обзор новостей, анонсов и много чего интересного с прошедшего события. 3 дня за 2,5 часа. Регистрация по ссылке выше.

А следующий VeeamON пройдет 15-18 мая, 2017 в Новом Орлеане.

И вдогонку новый полезный ресурс: Veeam.IO.

Сейчас там собраны материалы с сессии "VT331 - Sizing the Beast", где, как вы понимаете из названия, рассказывали как масштабировать инсталляции продуктов Veeam. Собрана коллекция на разные внешние утилиты.

Новый бэкап от Veeam. Для Linux

Примерно год назад стартовал (тогда еще в открытой бета-версии) продукт для резервного копирования Windows-машин. И хотя он и называется «Endpoint», поддерживает не только клиентские редакции Windows, но и серверные.

А за счет интеграции с продуктом Veeam Backup & Replication (VBR), который, как известно, работает только с виртуализацией VMware и Microsoft, резервные копии от Veeam Endpoint Backup Free (VEB) можно складывать в репозиторий VBR.

Что из этого получается? Резервировать так же, как VBR это делает с виртуальными машинами, без агентов невозможно. И VEB становится фактически агентом для некоторого количества физических Windows-серверов. Или полуфизических: ВМ в неподдерживаемой для VBR конфигурации (диски pRDM или passthrough, проброшенные внутрь ВМ iSCSI и т.п.).


А вот вам новый анонс с VeeamON 2015:
Veeam Backup for Linux (англ.)

Да, это еще один новый продукт. Вы просили — Veeam делает.

Ваши резервные копии накроются облаком: Veeam Managed Backup Portal

В эти дни в Лас-Вегасе проходит VeeamON 2015. И если вы думаете, что самое интересное в этом мероприятии - это сам Лас-Вегас, то вы ошибаетесь. Следите, что называется, за анонсами.

И вот вам первый анонс: Официальный анонс (eng.)
Статья в официальном блоге (eng., с картинками).


Совсем коротко:

1. Да, это новый продукт.
2. Открыть для себя новый бизнес: Бэкап-Менеджмент-эз-а-сервис.
3. Для партнеров и провайдеров (и тех, кто хотел бы им стать). Любых размеров. Даже без своей инфраструктуры.
4. Без дополнительных затрат.
5. Версия 1 поставляться будет в виде апплаенса в магазине Microsoft Azure Marketplace. Дальше - будет видно ;).
6. Для обслуживания Veeam Backup & Replication установленных у конечных клиентов:
• Небольшие компании с виртуализацией и Veeam B&R, без экспертизы и ресурсам по обслуживанию инфраструктуры резервного копирования. 
7. Портал прост в обращении (как обычно у Veeam Software ;)):
• Простое развертывание и настройка;
• Быстрое заведение новых клиентов;
• Встроенный готовый биллинг с гибкими настройками.
8. Удаленный мониторинг и управление:
• Без VPN (SSL-соединение);
• Портал удаленного обслуживания клиентов;
• Мониторинг с оповещениями.
9. Портал самообслуживания для конечных клиентов.
10. Построен над Veeam Backup & Replication Cloud Connect.
11. Выход планируется на Q1 в 2016.
12. В дальнейшем планируется поддержка клиентских Veeam Endpoint Backup.

Veeam Backup v9. СОБР придет за вашими резервными копиями

Особо не пишу про новый функционал выходящей скоро девятки. Вы и так можете все прочитать на сайте Veeam: http://go.veeam.com/v9-ru.

Но на эту функцию хотел бы особо обратить внимание. Виртуализация репозитариев, или SOBR (спец. отряд быстрого scale-out backup repository). http://go.veeam.com/v9-ru#scale-out-repository.

Эта штука, которая снимет множество вопросов по масштабированию, оптимизации, производительности и развитию инфраструктуры хранилищ резервных копий.

Объединив множество репозиториев в один, можно:

• Упростить администрирование большого количества различных устройств с дисками. Внедрить политики, по которым будут автоматически раскладываться ваши резервные копии по физическим носителям;
• Автоматически расширять дисковое пространство под резервные копии на конкретном репозитории за счет добавления дополнительных репозиториев или;
• оптимально использовать дисковое пространство. Зачем добавлять еще диски, когда и на существующих осталось много свободного места;
• Улучшить производительность создания копий и восстановления из них, применяя политики расположения резервных копий, методологию создания уровней СХД (tearing) и используя интеграцию с различными СХД (например, интеграция с протоколами EMC (Dell?) Data Domain и HP (Hewlett Packard Enterprise?) StoreOnce, или просто применение оптимизации для ДД-устройств).

Шура, бэкап! VirtualLab. Камень преткновения для работы SureBackup

Не сама VirtualLab - камень преткновения, а неправильная настройка сети.

Потому решил обратить внимание на появившийся документ на сайте Veeam: http://www.veeam.com/kb2047. Там все достаточно подробно описано, как правильно настроить. Как вы думаете, имеет смысл перевести его на русский?

Добавлю немного от себя.

Все в Ажуре. Или реинкарнация FastSCP

Многие администраторы виртуализации VMware помнят такой бесплатный инструмент - FastSCP. Была незаменимая вещь на заре виртуализации. Элементарно "залить исошник на датастор" было проблемой. А забрать обратно ВМ?

Однако своем развитии на смену бесплатному FastSCP вышел бесплатный Veeam Backup. В отличие от FastSCP, последний может не только копировать файлы, но и целую работающую ВМ (соответственно без выключения, но с обеспечением целостности данных).

Да, кто не в курсе, и для Veeam Backup Free Edition недавно с Update 2 получил приятную возможность - командлету powershell (Start-VBRZip) для запуска VeeamZIP. Так что теперь вы можете запускать резервное копирование по расписанию, используя штатный функционал Windows.

Это было историческое вступление. :) Теперь к текущим реалиям.

Развитие облаков привело к новым, а вернее - хорошо забытым старым, проблемам. "Как залить данные в облако?", или "как скачать тестовую базу SQL себе обратно?". Да мало ли задач по перегону данных на ВМ в облаке и обратно.

Ок, скажите: есть RDP, где в рамках сессии можно копировать. Маленький файл - пожалуйста, а вы попробуйте образ диска на несколько ГБ! Или БД. И скорость ужасная, да и ограничения (если я не ошибаюсь - 2 ГБ).

Варианты внешних облачных дисков - еще хуже: и время копирования удваивается, да и найти такое хранилище нужно. Плюс вопросы безопасности.

Вот теперь для ВМ в облаке MS Azure появился новый инструмент (именно новый, но с почти старым названием) - Veeam FastSCP for Microsoft Azure.

Бета доступна здесь: http://go.veeam.com/azure

Несколько фактов:

• Просто (как обычно)
• Бесплатно
• Без VPN
• Безопасно (SSL)
• Только для Azure
• Только для Windows ВМ
• Требование: у ВМ должен быть включен порт PowerShell (включен по умолчанию)
• Можно запускать копирование по расписанию
• Приятный плюс: при создание задания на копирования по расписанию можно включить скрипты PowerShell, которые будут запускаться перед и после исполнения задания.

Инструмент никак не связан с другими продуктами Veeam.

Best practice: Veeam Backup и дедупликация. Windows 2012

Выношу из комментов с нашего форума. Ну и чуть расширю по теме.

Часто спрашивают меня про использование встроенной дедупликации MS Windows 2012 для резервных копий Veeam.

1. Одна из основных задач резервного копирования Veeam – уменьшить окно бэкапа. Для этого мы применяем дедупликацию только в рамках самой сессии копирования, и не применяем «global dedup» с учетом всех исторических данных, так как в противном случае:

• это бы увеличило бы время копирования,

• налагало бы дополнительные потребности в вычислительных ресурсах,

• вводило бы дополнительные точки отказа в инфраструктуру резервного копирования.

2. Дополнительно решаются задачи защищенности («самодостаточности») резервных копий и их переносимость. Резервные копии Veeam – просто файлы на диске. Все метаданные, включая информацию по дедупликации сохраняются внутри этого архива, таким образом мы:

• избегаем единой точки отказа (когда выход из строя сервера с метаданными по дедупликации приводят к потери возможности восстановить данные из всех копий сразу; потеря же одного файла никак не сказывается на другие резервные копии),

• такой формат легко переносить (простым копированием), не привязан к системам хранения и файловым системам (например, можно мигрировать систему хранения резервных копий с Windows NTFS на Linux ext3)

• дает преимущества простого управления и т.п.

Несмотря на п.1. «global dedup» можно достичь при использовании Backup Copy Job для сохранения дополнительных резервных копий из уже существующих.

Для сокращения места под хранение резервных копий также рекомендуем использовать различные DD-устройства. Для чего в v8 у нас появился целый раздел подобных репозиториев (например, HP D2D, EMC DataDomain, Exogrid).

Обратите внимание! В некоторых случаев вы получаете выигрыш в месте хранения и времени копирования/полного восстановления, но можете проиграть в производительности Instant VM Recovery, в случае запуска из резервной копии, лежащей на подобных устройствах.

Но, как это может показаться странным для некоторых встроенная дедупликация в Windows 2012 / 2012 R2 оказалась очень хорошим дополнением. Об этом уже писалось даже на официальном блоге Veeam.

Вот собственно и то, ради чего сей пост:

Best practice: Veeam Backup и дедупликация Windows 2012 R2

Обязательно используйте одну и ту же версию Windows для сервера Veeam Backup и сервера репозитория. Либо оба 2012, либо оба 2012 R2!

1. Format the disk using the command line "/L" for "large size file records".
2. Also format using 64KB cluster size.
3. Use Windows 2012 R2. Apply all patches as some rollups have improvements to dedup.
4. Use Active full jobs with incrementals.
5. Turn Veeam's compression off and use the "LAN" block size. Veeam's deduplication can stay on. This gave best overall space savings for me.
6. If possible, spread your active full backups over the entire week.
7. Modify the garbage collection schedule to run daily rather than weekly.
8. Try to keep your VBK files below 1TB in size - Microsoft doesn't official support files bigger than this. Large files take a long time to dedup and will have to be fully reprocessed if the process is interrupted. I've had 4TB VBK process fine, it just take a long time!
9. Use multiple volumes, where possible. Windows dedup is single threaded, but it can process multiple volumes at once. Although bigger volumes mean better dedup ratios!
10. Configure your dedup process to run once a day, and for as long as possible.

Не все рекомендации всем подходят. Но это даст вам общее направление, как оптимизировать использование встроенную дедупликацию Windows для резервных копий Veeam.

Veeam guides по-русски

Наиболее часто задаваемый вопрос есть ли гайды по Veeam Backup & Replication на русском?

Для вас есть замечательная новость:

• Veeam Backup & Replication в среде VMware vSphere: http://go.veeam.com/user-guide-vbr-vsphere-ru
• Veeam Backup & Replication в среде Microsoft Hyper-V: http://go.veeam.com/user-guide-vbr-hyper-v-ru

Пользуйтесь на здоровье!

Международному дню резервного копирования посвятим

Мы уже проводили видео-сессию Whiteboard, когда рассказывали про стратегию "3-2-1".

В этот раз мы (мой коллега Владимир Клявин, я и целая команда Veeam) решили посвятить себя теме снимков (ака "снапшоты"). Грани добра и зла их применения в виртуальной инфраструктуре и использования в резервном копировании.

Чтобы избегать вот таких проблем:

68 забытых зомби-снапшотов

Итак, приглашаем на онлайн прямой трансляции, где вы сможете задавать свои вопросы в чате. Регистрация здесь:

http://go.veeam.com/whiteboard-snapshots-ru

Кстати, если есть вопросы уже сейчас, которые вы хотите, чтобы мы осветили в нашем видеоэфире, пишите мне на vladimir.eskin@veeam.com

Запись будет.

Veeam Backup v.8. Полезные мелочи

Вышел Veeam Backup & Replication v.8 What's New in v8

По традиции, в Veeam Bakup & Replication, в каждой новой версии много интересных вещей. В этот раз файл what's new вышел аж 12 страницах мелким шрифтом. И, понятное дело, что все смотрят в первую очередь на топовые функции (типа интеграции со снимками NetApp или Backup I/O Control).
И при этом мало обращают внимание на некоторые из тех изменений, что скрываются под "и 200+ других улучшений".

Вот мой личный хит-парад этих мелочей, которые улучшат жизнь администратора виртуализации и систем резервного копирования:

Snapshot hunter

Снапшоты VMware – не только зло, но и головная боль администратора.
Есть такая печальная ситуация, когда в суслика снапшоты у ВМ не видно, а они физически есть на диске. Вот KB от VMware: http://kb.vmware.com/kb/1002310.
Теперь задание VBR v.8 просканирует датасторы VMware на наличие недобитых снапшотов, и попытается их удалить (консолидировать) по процедуре, описанной в KB. Если удалить не получилось (файлы заблокированы), задание завершится с предупреждением. Но фоновый процесс продолжит попытки удалить (по умолчанию 3 попытки через 4 часов каждая). Если снова неудача, будет отправлено письмо с предупреждением о ситуации.

Veeam Backup на ленты

Вы спрашивали - мы делаем.


Время выхода версии 7 - Q3 (третий квартал - июль-сентябрь)

Восстановление объектов MS Exchange

В Veeam Backup версии 6.5 появился инструмент для восстановления объектов MS Exchange 2010 – Veeam Explorer for Exchange (кодовое название – VEX). Инструмент позволяет восстанавливать письма, записи в календаре и т.п. объекты.

Для работы с резервными копиями VBR все просто – в консоли Veeam Backup выбрали резервную копию ВМ с «чагой», запустили режим восстановления объектов Exchange (Restore Exchange items...) или режим восстановления файлов Windows (Restore guest files (Windows)...). В первом случае произойдет автоматический запуск утилиты VEX, во втором – запустить утилиту можно в консоли эксплорера файлового восстановления.
Утилита подключается ко всем обнаруженным базам чаги и позволяет осуществлять поиск или просто вручную пройти по дереву базы до нужного элемента и восстановить в msg-файл, в pst-файл при наличии установленного Outlook, переслать письмо в качестве приложения или вернуть обратно в боевую базу. Можно работать как с одиночными письмами, так и с группой.


Но я не стал бы просто так об этом просто писать в свой блог. Обо всем этом вы и так могли прочитать  на сайте Veeam, в различных маркетинговых раздатках, послушать на презентациях и вебинарах. Есть еще один важный момент в использовании этой утилиты – она не требует наличия резервных копий, сделанных с помощью Veeam Backup.
Вообще не требует. Ни технически, ни лицензионно. Пока во всяком случае.

Нужно установить Veeam Backup, запустить VEX, и далее добавить файл базы в Exchange. Profit!

И на закуску. VEX входит в состав всех версий Veeam Backup & Replication, включая Free Edition.


P.S. Возможно размещу как-нибудь материал по виртуализации самого MS Exchange.

Veeam Backup v6.x. Права пользователя в vSphere

Для копирования и восстановления ВМ и данных в виртуальной инфраструктуре VMware vSphere нужно, чтобы сервер Veeam Backup обладал определенными правами на объекты. Конечно, можно дать доступ Administrator на все, но это, согласитесь, не лучший вариант. И можно сильно получить от отдела безопасности.

Есть у нас один мог документ на сей счет. В pdf. В нем все английским по белому рассказано, все по зеленым табличкам разложено. Для каких функций какой набор прав нужен.

И вот, спасибо добрым людям, сделали xml с ролями, которую можно импортировать в vCenter,  а затем дать соответствующему аккаунту нужную роль.
Полагаю, наиболее востребованная будет роль "Veeam Combined" - сочетающую все необходимые права для всех возможных действий. Но можно предусмотреть и различные сценарии, с применением различных ролей. Например, если вы хотите, чтобы VBR мог только копировать с одного vCenter, а восстанавливать на другой.

Файлы:

• Документ с описанием прав доступа (pdf)
• Роли в vCenter  (xml)

P.S. если найдете какие недочеты - обязательно напишите мне.

Veeam Backup v6.x. Архитектура. Депозитарий для резервных копий

О том, как масштабировать репозитарии, я уже писал http://www.veskin.ru/2012/07/veeam-backup-v6x.html.
С хранением резервных копий все также достаточно гибко – возможны различные варианты, но у каждого есть свои нюансы.

Само собой резервные копии желательно хранить вне пределах виртуальной инфраструктуры, чтобы избежать «одной корзины» (или «single point of failure»). Так что так или иначе желательно иметь отдельный массив под резервные копии. Все остальное зависит от задачи, которую необходимо решить.
Репозитарии – серверы, которые осуществляют запись на диск – могут быть различные по типу установки:

   a) Виртуальные
   b) Физические

По типу ОС:
   a) Windows
   b) Linux
По месту хранения:
   a) Локальный диск – то, что видно сервером как локальные диски: локальные диски, DAS-полка с дисками, FC- и iSCSI-хранилища, USB-накопители и т.п.
   b) CIFS-шара
   c) NFS-шара