Гіперскейлери теж плачуть або коротка історія про важливість альтернатив

На початку травня цього року, клієнти великого приватного пенсійного фонду UniSuper раптом виявили, що не можуть отримати доступ до своїх облікових записів. Звернення до техпідтримки не дали результату — там теж не могли зрозуміти, в чому річ та куди поділося буквально все. Ніхто просто не міг повірити, що приватна захищена хмара, розміщена в одного з найкращих світових операторів, причому одразу на двох майданчиках, могла просто… зникнути.

За крок від провалу

Але реальність виявилася саме такою. Після нетривалого розслідування, генеральний директор Google Cloud Томас Куріан повідомив, що «збій виник через безпрецедентну послідовність ненавмисних подій, внаслідок яких неправильне налаштування сервісу приватної хмари UniSuper призвело до видалення всіх даних облікового запису UniSuper Private Cloud».

Глибоких технічних деталей інциденту директор не повідомив, проте додав: «це унікальний, єдиний у своєму роді випадок, який ніколи раніше не траплявся з жодним з клієнтів Google Cloud».

Фінансова компанія UniSuper управляє активами на суму понад $125 млрд й працює з більш ніж 620 тис. клієнтів, її ІТ-інфраструктура включає сотні віртуальних машин, баз даних та застосунків. Тому до питання побудови надійної хмарної інфраструктури в компанії підійшли відповідально, розмістивши за всіма правилами, дві копії даних у двох різних географічних регіонах оператора. Але, оскільки видалився весь обліковий запис весь компанії цілком, то й втрачено було одразу обидва майданчики.

Виправдовуючись перед клієнтами, генеральний директор UniSuper Пітер Чун повідомив, що збій не був результатом кібератаки й жодні особисті дані не були розкриті — вони були просто видалені, причому безповоротно. Примітно, що раніше фонд розподіляв копії даних та робочі навантаження між власними дата-центрами та майданчиками інших хмарних сервіс-провайдерів, проте 2023 року було ухвалено рішення майже повністю перейти у Google Cloud.

Від епічного провалу в цьому випадку врятувало саме це маленьке «майже», бо окрім двох майданчиків, IT-фахівці UniSuper вирішили підтримувати ще й окремий бекап, в іншого хмарного оператора. Правда, дані потрапляли туди з певною затримкою, але все одно це набагато краще, аніж повна втрата клієнтської інформації. В результаті, відновлення сервісу — все у тій же хмарі Google — тривало близько тижня, протягом якого користувачі не мали повного доступу до своїх даних. Завдяки вірній політиці зберігання резервних копій, безповоротні втрати інформації виявилися некритичними, зараз усе працює, як і до збою.

Загалом, за підсумком все закінчилося добре. Проте, подія залишає відкритими два основні питання: як подібне взагалі могло статися й чому відновлення зайняло стільки часу (тиждень для оператора рівня Google це довго)?

З іншого боку, інцидент показав важливість комплексного підходу до резервного копіювання даних та забезпечення відмовостійкості хмарних інфраструктур. Навіть якщо ви користуєтесь послугами світового лідера, варто мати альтернативний незалежний майданчик для більш надійного захисту вашої критично важливої інформації.

Компанія De Novo пропонує цілу низку хмарних сервісів для зберігання даних, створення захищених резервних копій (бекапів), відновлення після катастроф.  Звертайтеся до нас по консультацію — ми допоможемо підібрати оптимальне рішення.