Гиперскейлеры тоже плачут или короткая история о важности альтернатив

В начале мая нынешнего года, клиенты крупного частного пенсионного фонда UniSuper вдруг обнаружили, что не могут получить доступ к своим учетным записям. Обращения в техподдержку ПФ не давали результата — там тоже не могли понять, в чем дело и куда делось буквально все. Никто просто не мог поверить, что частное защищенное облако, размещенное у одного из лучших мировых операторов, причем сразу на двух площадках, могло просто… исчезнуть. 

В шаге от провала

Но реальность оказалась именно такой. После непродолжительного разбирательства, генеральный директор Google Cloud Томас Куриан сообщил, что«сбой возник в из-за беспрецедентной последовательности непреднамеренных событий, в результате которых неправильная настройка сервиса частного облака UniSuper в конечном итоге привела к удалению всех данных учетной записи UniSuper Private Cloud».

Особых технических деталей инцидента директор не сообщил, но при этом добавил: «это уникальный, единственный в своем роде случай, который никогда раньше не случался ни с одним из клиентов Google Cloud».

Финансовая компания UniSuper управляет активами на сумму свыше $125 млрд. и работает с более чем 620 тыс. клиентов, ее ИТ-инфраструктура включает в себя сотни виртуальных машин, баз данных и приложений. Поэтому к вопросу построения надежной облачной инфраструктуры в компании подошли ответственно, разместив, по всем правилам, две копии данных в двух разных географических регионах оператора. Но, поскольку удалилась вся учетная запись компании целиком, то потеряны были сразу обе площадки. 

Оправдываясь перед клиентами, генеральный директор UniSuper Питер Чун сообщил, что сбой не был результатом кибератаки и никакие личные данные не были раскрыты — они были просто удалены, причем безвозвратно. Примечательно, что ранее фонд распределял копии данных и рабочие нагрузки между собственными дата-центрами и площадками других облачных сервис-провайдеров, но в 2023 году было принято решение почти полностью уйти в Google Cloud.

От эпического провала в данном случае спасло как раз это самое «почти». Помимо двух площадок, в UniSuper все-таки решили поддерживать еще и отдельный бекап, у другого облачного оператора. Правда, данные в него попадали с некоторой задержкой, но все равно это несравнимо лучше, чем полная потеря всей клиентской информации. В итоге восстановление сервиса — все в том же облаке Google — заняло около недели, в течение которой пользователи не имели полного доступа к своим данным. Благодаря правильной политике хранения резервных копий, безвозвратные потери информации оказались некритичными, сейчас все уже работает, как и до сбоя. 

В общем, по итогу всё закончилось хорошо Тем не менее, происшествие оставляет открытыми два основных вопроса: как подобное вообще могло произойти и почему восстановление заняло столько времени (неделя для оператора уровня Google — это очень много)?

С другой стороны, инцидент показал всю важность правильного подхода к резервному копированию данных и обеспечению отказоустойчивости облачных инфраструктур. Даже если вы пользуетесь услугами мирового лидера, стоит иметь альтернативную независимую площадку для более надежной защиты вашей критически-важной информации. 

Компания De Novo предлагает целый ряд облачных сервисов для хранения данных, создания защищенных резервных копий (бекапов), восстановления после катастроф. Обращайтесь к нам за консультацией и мы поможем подобрать оптимально решение.