Державна хмара згоріла вщент: чому Південна Корея втратила свої дані

26 вересня у південнокорейському місті Теджон загорівся один із ключових центрів обробки даних країни, що належить Національній службі інформаційних ресурсів (NIRS). Вогонь, причиною якого стало займання літій-іонної батареї під час переміщення ДБЖ, знищив ІТ-обладнання, включно з серверами та системами зберігання даних, а також пошкодив кабельні магістралі. Пожежа тривала майже добу.

Без можливості відновлення

Найстрашніше — повністю знищене державне хмарне сховище G-Drive, яким користувалися 125 тисяч службовців із 74 міністерств. Разом із G-Drive загинули всі робочі матеріали, накопичені за останні вісім років, загальним обсягом майже петабайт. Усі документи (а також зображення, скани тощо) часто існували тут в єдиному примірнику. На відміну від інших державних сервісів, дані G-Drive не підлягають відновленню. Як повідомило ЗМІ джерело в Міністерстві внутрішніх справ Південної Кореї, через великий обсяг резервні копії на інших майданчиках не створювалися. Водночас інші 95 систем, які також постраждали через пожежу, мають резервні копії й будуть відновлені.

Працівники міністерств і відомств у паніці намагаються знайти залишки даних у поштових скриньках співробітників і на локальних ПК, але це вже справжні розкопки. Втім, є надія, що принаймні частина даних у тій чи іншій формі збереглася на інших майданчиках NIRS.

Загалом пожежа зачепила 650 сервісів Національної служби. Протягом першого тижня вдалося відновити лише 85. Враховуючи, що NIRS оперує приблизно 1600 сервісами, виходить, що одна пожежа одночасно вивела з ладу 40% із них. За оцінками корейських фахівців, на усунення наслідків і повний перезапуск усіх сервісів знадобиться щонайменше два місяці.

Чому важливо дотримуватись регламентів

Пожежа почалася з того, що одну з батарей ДБЖ від’єднали для перенесення до підвалу, щоб «зменшити ризик» і віддалити її від серверів. Але під час роботи інженери, ймовірно, розірвали ланцюг під навантаженням, викликавши стрибок напруги. Це призвело до термічної ланцюгової реакції: одна комірка перегрілася, температура піднялася понад 300°C, сусідні батареї зайнялися, вогонь перекинувся на стійки.

За даними ЗМІ літій-іонні модулі виробництва LG Energy Solution були встановлені у 2012–2013 роках, тобто термін їхньої служби вже перевищив рекомендовані для таких систем 10 років. При цьому перевірки АКБ проводилися регулярно, остання — у червні 2025 року. Друга фатальна проблема — відстань від батарей до серверів становила лише 60 см, тобто бар’єра між джерелом займання та обчислювальною технікою фактично не було.

Пожежники, які прибули на виклик, теж не одразу зорієнтувалися в ситуації та вирішили використовувати для гасіння вуглекислоту (що погано підходить для гасіння літій-іонних акумуляторів) замість води, аби не залити сервери. Це рішення виявилося помилковим: тепло після термічного пробою Li-ion-модулів не вдалося відвести, хімічна реакція тривала. Усі акумулятори, майже чотири сотні, були знищені, разом із ними — сервери, СЗД та інше обладнання, розташоване в тому ж приміщенні. Загалом, гасіння Li-ion батарей потребує спеціальних технологій і навичок, яких не було ані в пожежників, ані у персоналу ЦОД.

Помилки були й в архітектурі ІТ-системи. Об’єкт не мав дублюючих майданчиків. Хоча формально NIRS мав три територіально віддалені дата-центри, фактично основне навантаження було зосереджене в Теджоні. Резервна інфраструктура не була підготовлена — тести failover-сценаріїв не проводилися, інструкцій щодо аварійного перемикання не існувало. Очевидна — неприпустима централізація та переоцінка надійності одного «вузла».

Експерти IDC Asia/Pacific зазначають, що навіть у великих організаціях політики резервування часто мають номінальний характер й існують лише на папері. Проте територіально розподілені ІТ-системи ефективні для захисту лише за умов регулярних навчань. DR-план без практики — це інструкція, а не система. Багато керівників сприймають резервування як формальність, але під час інциденту кожна хвилина дорога, отже потрібно точно знати, що й як робити.

«Справа зовсім не в тому, чому й як сталася техногенна аварія в датацентрі. Проблема – в прийнятті зовнішньо простого рішення, яке не передбачає таких аварій, та не враховує наслідків. Відсутність єдиного архітектурного підходу та стратегічного цілепокладання, підміна поняття «ефективний контроль над чимось» на «володіння чимось», відсутність зрозумілої відповідальності за наслідки – це улюблена цяцька більшості чиновників в світі. Проте механізм захисту та відновлення даних, контроль цієї процедури – це надто складно для державної бюрократії. Нажаль, в Україні це все також буйно квітне», — коментує інцидент Максим Агеев, CEO компанії De Novo.

У випадку з дата-центром у Теджоні збіглося одразу кілька негативних чинників — централізована архітектура без DR чи бекапів, застарілі батареї поруч із серверами, неузгоджені дії персоналу, відсутність належних систем пожежогасіння. Все це зіграло свою роль. При цьому, як було зазначено, низка систем усе ж мала резервні копії, що дає підстави сподіватися на їхнє відновлення, на відміну від G-Drive.

До того ж що за даними корейського Мінпаливенерго, у 2018–2022 роках у країні зареєстровано 55 пожеж, пов’язаних з ДБЖ. Головний чинник майже завжди — це спрощені схеми безпеки в системах живлення. Можливо, саме тому, коментуючи інцидент, президент країни Лі Чже Мен назвав його «передбачуваним» та розпорядився негайно провести аудит усієї державної ІТ-інфраструктури. Що ж, краще пізно, ніж ніколи.

Проте, нам варто вчитися на чужих помилках.