Запасной выход
Можно годами строить бизнес, накапливать информацию и исправно платить за её хранение. А потом обнаружить, что вместе с серверами исчезло всё, что должно было их спасти. Ноябрьская кибератака на одного из крупнейших российских хостинг-провайдеров заставила тысячи компаний задуматься о вещах, которыми прежде занимались исключительно системные администраторы. Например, о том, куда ведёт запасной выход, если основной оказался закрыт.
В этой истории
Двадцать пять минут
В два часа тридцать минут ночи 2 ноября 2026 года в инфраструктуре Beget, одного из крупнейших российских хостинг-провайдеров, было запущено вредоносное программное обеспечение.
К этому моменту злоумышленники уже получили доступ к управляющим серверам компании. В 02:40 специалисты обнаружили несанкционированное проникновение, а ещё через пятнадцать минут отключили серверы от сети, пытаясь остановить атаку.
Двадцать пять минут.
Не так уж много времени. Можно успеть выпить кофе, посмотреть половину серии какого-нибудь сериала или провести небольшое совещание, участники которого так и не придут ни к какому решению.
Для компьютерной инфраструктуры, однако, двадцать пять минут — целая вечность.
Когда серверы отключили, часть информации уже была уничтожена. Перестали работать сайты, интернет-магазины, корпоративные приложения и сервисы, размещённые на виртуальных серверах. Последствия атаки затронули множество компаний, некоторые из которых до этого момента даже не представляли, насколько сильно зависят от работоспособности чужого оборудования.
Началось восстановление. Причём не только повреждённых данных, но и самой инфраструктуры, необходимой для того, чтобы эти данные снова стали доступны. Инженерам пришлось возвращать к жизни серверы, восстанавливать настройки, проверять резервные копии и разбираться с последствиями разрушений.
Спустя десять дней работы всё ещё продолжаются. Окончательный масштаб потерь и сроки полного восстановления еще предстоит выяснить.
Для клиентов ситуация выглядела значительно проще: вчера всё работало, сегодня — нет. Когда заработает снова и заработает ли вообще, никто с уверенностью сказать не мог.
11 ноября нам позвонил один из клиентов. Его интернет-магазин размещался на Beget и после атаки перестал работать. Возможность восстановления сайта оставалась неопределённой.
Клиент обратился с вполне конкретной задачей: организовать независимое резервное копирование сайта, чтобы при повторении подобных событий можно были снизить риски потери данных и обеспечить приемлимые сроки восстановления сайта.
Ничего необычного в этой просьбе не было. Скорее наоборот. С инженерной точки зрения наличие независимой копии важных данных — вещь настолько разумная, что даже странно обсуждать её необходимость.
Однако у подобных решений есть одна особенность.
Пока сайт работает, покупатели оформляют заказы, а сотрудники занимаются своими делами, вопрос о том, что произойдёт в случае серьёзной аварии, редко оказывается самым неотложным. У бизнеса хватает забот, существующих здесь и сейчас. Зачем тратить силы на неприятности, которых ещё не случилось?
К сожалению, иногда происходят события, которые за считаные минуты меняют представление о важном и второстепенном.
Вчера резервное копирование было одной из многочисленных технических задач. Сегодня от него может зависеть возможность продолжать работу.
И тут обнаруживается, что между наличием резервной копии и способностью восстановить данные существует довольно большая разница.
Две копии одной беды
Вообще-то человечество давно разобралось с основным принципом сохранения ценных вещей. Если не хочешь что-нибудь потерять, сделай копию и положи её в безопасное место.
Сложности начинаются с определения слова «безопасное».
Представим себе небольшую компанию с собственным сервером 1С. На сервере хранится база данных, с которой ежедневно работают бухгалтерия, отдел продаж и склад. Системный администратор настроил автоматическое резервное копирование. Каждую ночь программа создаёт архив и складывает его в специальную папку.
Для надёжности администратор даже предусмотрел отдельный диск.
Всё замечательно. Система работает, копии создаются, сообщения об ошибках не поступают. Если кто-нибудь случайно удалит базу, её можно будет восстановить.
А теперь представим, что выходит из строя не база данных, а весь сервер.
Или что помещение, где он установлен, затопило.
Или что злоумышленник получил административный доступ к компьютеру и уничтожил не только рабочую информацию, но и всё, что хранилось рядом.
Тогда выяснится, что компания исправно копировала данные с одного диска на другой, но оба диска всё это время находились внутри одной и той же проблемы.
Ничего загадочного здесь нет. Просто резервная копия оказалась защищена от одних происшествий и совершенно беззащитна перед другими.
Можно приобрести второй сервер и перенести копии на него. Это уже лучше. Можно поставить его в другом помещении, здании или даже городе. Ещё лучше.
Но и здесь нет повода немедленно открывать шампанское.
Предположим, оба сервера управляются через одни и те же административные учётные записи. Злоумышленник получает необходимые полномочия в основной системе и обнаруживает, что с их помощью можно удалить информацию и на резервном сервере.
Получается весьма занятная конструкция. Оборудование разное, расстояние между серверами может измеряться сотнями километров, а ключ от обоих лежит в одном кармане.
И наоборот: два хранилища могут находиться сравнительно недалеко друг от друга, но иметь настолько независимые механизмы доступа и защиты, что повреждение одного не позволит затронуть другое.
Разумеется, физическое разделение тоже имеет значение. Пожару или затоплению совершенно безразлично, насколько хорошо разграничены права пользователей.
Поэтому инженеры, занимающиеся защитой данных, уделяют внимание сразу нескольким вещам: где размещаются копии, кто имеет право их изменять или удалять, каким способом они создаются и что произойдёт, если основная инфраструктура окажется полностью недоступна.
В некоторых случаях используются хранилища, в которых записанные резервные копии нельзя изменить или удалить до истечения установленного срока. В других — изолированные системы, внешние площадки и независимые учётные записи.
Универсального решения нет. Зато есть универсальная ошибка: считать, что само наличие второго экземпляра информации автоматически делает его надёжным.
Собственно, именно поэтому идея хранить независимую копию сайта вполне разумна. Компания получает возможность восстановить свои данные, даже если основная площадка окажется недоступна.
Правда, тут возникает следующий вопрос: что произойдёт, если выйдет из строя уже резервный сервер?
Можно построить ещё один. Затем следующий. Потом разместить часть оборудования в другом городе, арендовать дополнительное облачное хранилище и на всякий случай предусмотреть отдельную площадку за несколько тысяч километров.
Если увлечься, расходы на такую конструкцию рано или поздно превысят стоимость всего, что она призвана защищать.
К счастью, задача состоит не в создании бесконечного количества копий. Необходимо предусмотреть достаточно независимые способы пережить наиболее вероятные неприятности.
И при этом не забыть, ради чего вся эта конструкция вообще существует.
Грузовики у ворот
Компьютеры довольно долго оставались для бизнеса чем-то вроде очень способных помощников. Они считали быстрее бухгалтеров, печатали документы аккуратнее машинисток и могли хранить в памяти столько информации, сколько не поместилось бы в нескольких шкафах.
Но если компьютер ломался, жизнь предприятия обычно продолжалась.
Документы оставались на бумаге. Бухгалтерия могла поднять нужную папку. Кладовщик знал, что находится на складе, а при необходимости мог пересчитать остатки вручную.
Прошло несколько десятилетий, и ситуация изменилась почти до неузнаваемости.
Теперь информация о деятельности компании существует преимущественно в цифровом виде. Более того, нередко она существует исключительно там.
Возьмём торговое предприятие. У него несколько тысяч товарных позиций, постоянные поставщики, множество покупателей и собственный склад. Заказы поступают через сайт и менеджеров, товары учитываются в 1С, кладовщики собирают отгрузки с помощью терминалов сбора данных.
Всё это довольно удобно. По крайней мере, пока работает.
А теперь представим, что база 1С исчезла.
Товар по-прежнему находится на складе. Грузовики стоят у ворот. Кладовщики пришли на смену, менеджеры принимают звонки, покупатели ожидают свои заказы.
Но никто толком не знает, что именно нужно отгружать.
Нельзя с уверенностью определить актуальные остатки, проверить оплату, установить, какой заказ уже собран, а какой ещё ждёт обработки.
Физически предприятие осталось прежним. Ни один товар не испарился, ни один грузовик не пропал. И даже компьютеры могут быть вполне исправны.
Исчезла информация, связывающая всё это хозяйство в работающую систему.
Можно, конечно, начать действовать вручную. Позвонить покупателям, поднять переписку, попросить бухгалтерию найти банковские выписки. Отправить кладовщиков пересчитывать товары, а менеджеров — выяснять, кому что обещали.
В какой-то степени это даже напоминает возвращение к истокам предпринимательства. Только с той разницей, что нынешние компании давно перестали быть приспособлены к подобному способу работы.
И дело не ограничивается торговлей.
Проектная организация может лишиться чертежей, расчётов и документации, на создание которой ушли годы. Производственное предприятие — технологических карт и сведений о незавершённых заказах. Сервисная компания — истории обращений, договорённостей с клиентами и информации о состоянии обслуживаемого оборудования.
Почтовые архивы, CRM, системы документооборота, корпоративные файловые хранилища — всё это давно перестало быть просто удобным дополнением к работе.
В каком-то смысле информационная система стала памятью предприятия.
И тут возникает довольно любопытное противоречие.
За десятилетия автоматизации компании научились сохранять колоссальные объёмы информации. Они помнят каждую продажу, каждый документ, каждое изменение в заказе. Могут восстановить историю взаимоотношений с клиентом за несколько лет, выяснить, кто и когда поменял цену, и определить остаток товара с точностью до единицы.
Человеческая память на такое не способна.
Но человек, по крайней мере, не теряет все свои воспоминания одновременно из-за неисправности одного устройства.
С компанией подобное вполне может произойти.
И тогда становится понятно, почему цена утраченной информации нередко имеет мало общего со стоимостью оборудования, на котором она хранилась.
День сурка
Допустим, компании удалось избежать самого неприятного. Сервер вышел из строя, но резервные копии сохранились.
Администратор находит подходящее оборудование, устанавливает систему и приступает к восстановлению данных. После нескольких часов работы база 1С снова запускается.
Победа?
Не совсем.
Предположим, авария произошла во вторник днём, а последняя пригодная копия была сделана в воскресенье вечером.
Система исправно запускается. Все справочники на месте, документы открываются, сотрудники могут продолжать работу.
Есть лишь одна маленькая неприятность: для программы понедельник и первая половина вторника никогда не существовали.
Все продажи, платежи, поступления товаров, отгрузки и изменения заказов, произошедшие за это время, в восстановленной базе отсутствуют.
Складской учёт утверждает, что товар находится на полке, хотя его ещё вчера отправили покупателю. Бухгалтерия не видит платежей, которые банк успешно провёл. Менеджер открывает заказ и обнаруживает, что он всё ещё ожидает отгрузки, хотя покупатель уже получил товар.
Компания отправилась в прошлое, не сдвинувшись с места.
Теперь кому-то придётся возвращать её обратно.
Для этого нужно собрать сведения обо всех операциях за пропущенный период, сопоставить документы, проверить платежи и восстановить последовательность событий. А затем убедиться, что ни одна отгрузка не учтена дважды и ни один заказ не потерялся между старой базой и реальным миром.
Иногда это сравнительно несложно. Иногда превращается в многодневную работу.
Именно поэтому вопрос о периодичности резервного копирования имеет гораздо большее значение, чем может показаться.
Компании, которая обновляет свой информационный сайт раз в неделю, возможно, вполне достаточно одной копии в сутки. Потерять вчерашнюю редакцию страницы неприятно, но не смертельно.
А вот для предприятия, ежедневно проводящего сотни операций, потеря даже нескольких часов информации может обернуться серьёзными проблемами.
Есть и другая сторона вопроса.
Даже если удалось сохранить самую свежую копию, никто не гарантирует, что восстановить систему получится быстро.
Для этого может потребоваться новое оборудование, установка программного обеспечения, настройка сетей, прав доступа и интеграций. Если речь идёт о сложной корпоративной системе, восстановление одной только базы данных может оказаться лишь небольшой частью всей работы.
Таким образом, бизнесу приходится определяться с двумя величинами, о которых в обычной жизни мало кто задумывается.
Сколько информации допустимо потерять?
И сколько времени можно позволить себе не работать?
Технические специалисты используют для этих параметров специальные обозначения — RPO и RTO. Но руководителю вовсе не обязательно запоминать аббревиатуры.
Ему достаточно понимать, что требование «Мы не должны потерять ни одного заказа и обязаны восстановиться за пятнадцать минут» и пожелание «Хорошо бы вернуться к работе завтра утром» подразумевают совершенно разные технические решения.
И, соответственно, совершенно разные расходы.
Самое разумное здесь — не пытаться обеспечить максимальную защиту всего на свете, а определить, какие системы действительно критичны для работы предприятия.
У каждого бизнеса получится собственный ответ.
Запасной выход
В большинстве современных зданий предусмотрены аварийные выходы. Над дверью висит зелёная табличка, рядом размещён план эвакуации. Иногда присутствует даже внушительная надпись, запрещающая загромождать проход.
Всё выглядит убедительно.
Вот только наличие таблички ничего не говорит о том, можно ли открыть дверь. И не заставлена ли лестница за ней коробками, которые кто-то временно сложил там года три назад.
В компьютерных системах роль такой таблички часто выполняет сообщение об успешном резервном копировании.
Каждую ночь программа создаёт архив. Утром администратор получает уведомление. Всё работает, свободного места достаточно, ошибок нет.
Идиллия.
А потом наступает день, когда архив действительно нужен.
Выясняется, что некоторые файлы повреждены. Или что резервная копия базы создавалась некорректно. Или что восстановленные данные вполне исправны, но для запуска системы не хватает настроек и компонентов, которые никто не догадался сохранить.
Проблема могла существовать месяцами. Просто до сих пор никто не пытался открыть дверь.
Поэтому инженеры, всерьёз занимающиеся резервным копированием, проверяют не только создание архивов, но и возможность восстановления из них работающих систем.
Обычно для этого разворачивают копию в отдельном окружении, запускают базу данных или приложение и убеждаются, что результат пригоден для использования.
Процедура не особенно зрелищная. В ней нет ничего похожего на героическую борьбу с хакерами. Никто не взламывает пароли, не расшифровывает таинственные сообщения и не наблюдает за бегущими по экрану зелёными символами.
Инженер просто восстанавливает данные и проверяет, что всё работает.
Причём желательно делает это регулярно, а не только после происшествия.
Звучит скучновато. Но, если подумать, большинство действительно полезных мер безопасности устроено именно так.
Хорошо спроектированная система противопожарной защиты может годами не понадобиться. Надёжная резервная копия способна всю свою жизнь провести в хранилище, ни разу не будучи использованной для настоящего восстановления.
И это, пожалуй, лучший из возможных результатов.
Однако ни одна из подобных систем не возникает сама собой. Кто-то должен определить, что именно необходимо защищать, от каких происшествий, с какой периодичностью и за какие деньги.
Современный бизнес охотно вкладывается в автоматизацию. Новая система учёта ускоряет отгрузки, CRM помогает продавать, электронный документооборот сокращает время согласований. Результат таких инвестиций можно увидеть и измерить.
С резервным копированием всё сложнее. Если оно работает хорошо, результат заключается в том, что ничего особенного не происходит. А это не самый убедительный аргумент для человека, привыкшего оценивать эффективность вложений по количеству дополнительных продаж.
Поэтому вопрос о сохранности информации нередко откладывается на потом.
До очередной неисправности, человеческой ошибки или кибератаки.
В начале ноября множество компаний получили неприятную возможность проверить собственную готовность к подобным событиям. Кто-то сумел относительно быстро вернуться к работе, кому-то восстановление даётся значительно тяжелее.
И для специалистов Beget, продолжающих восстанавливать пострадавшую инфраструктуру, эта работа ещё далеко не закончена.
Пожалуй, главный вывод из подобных происшествий состоит не в том, что нужно перестать доверять хостинг-провайдерам, отказаться от облаков или срочно перенести все серверы в собственный офис.
Это было бы довольно странной реакцией на проблему, которая вполне способна возникнуть и в собственном офисе.
Дело в другом.
За годы автоматизации компании научились доверять компьютерам всё больше и больше. И во многих случаях это доверие совершенно оправданно. Но одновременно они стали зависеть от сохранности информации настолько сильно, что её потеря способна остановить работу даже вполне благополучного предприятия.
Сам по себе этот факт не страшен. При условии, что предусмотрен способ вернуться к работе после аварии.
А вот насколько хорош этот способ, лучше выяснять не тогда, когда основной сервер уже перестал существовать.
Чтобы убедиться, что запасной выход действительно открывается, необязательно устраивать пожар.