Об’єктне сховище S3/Grid
Стандарт де-факто для Cloud Native та неструктурованих даних
De Novo S3/Grid — це повністю S3-сумісне об’єктне сховище промислового класу, побудоване на платформі світового лідера індустрії зберігання даних — NetApp. Сервіс призначений для продуктивних cloud-native середовищ і сценаріїв, де критично важливі надійність, безпека та прогнозована вартість.
Сховище реалізує API Amazon S3. Перехід з AWS S3 на De Novo S3/Grid (і навпаки) не потребує жодних змін у коді застосунків, SDK або CI/CD-процесах. Це дозволяє будувати гібридні та мультихмарні архітектури без vendor lock-in.
Immutability та захист від ransomware
Вбудована функціональність Object Lock (immutability) гарантує незмінність даних протягом заданого періоду. Навіть адміністратор системи не може змінити або видалити такі об’єкти. Це ключовий механізм захисту від кібератак, помилок персоналу та шкідливих програм-шифрувальників.
Доступ і підтримка
Доступ до S3/Grid уніфікований — HTTPS через Інтернет або виділені лінії. Сервіс може використовуватися з хмар De Novo, з on-premise інфраструктур або з інших хмарних платформ.
Комерційна підтримка рівня production grade support є обов’язковою складовою сервісу та забезпечує стабільну експлуатацію в продуктивних середовищах.
Отримайте консультацію
Що таке об'єктне сховище?
Сховища даних поділяються на три типи — файлові, блокові та об'єктні. Кожен із них має свої особливості, обмеження та сфери застосування. Наприклад, файлове сховище зручне для роботи користувачів і застосунків, блокове — для віртуальних машин і баз даних. Але обидва ці типи часто починають стикатися з проблемами, коли навантаження зростає до петабайтного рівня. У такому разі зручна ієрархічна структура файлового сховища з файлів і папок стає перешкодою для масштабування, а відсутність вбудованих метаданих у блоковому сховищі ускладнює пошук інформації (що призводить до різкого падіння продуктивності). Тому, коли система проєктується з розрахунком на великі обсяги зберігання неструктурованої інформації, найчастіше обирають третій варіант.
Об'єктне сховище — це коли дані розміщуються у вигляді незалежних об'єктів (звідси й назва). При цьому відсутня ієрархічна структура, як у файловому сховищі, що суттєво спрощує та прискорює роботу з даними. Кожен об'єкт у такій одноранговій системі отримує унікальний ідентифікатор і метадані (для організації пошуку та наскрізної аналітики). У результаті структура зберігання суттєво спрощується, а головне — такий підхід дозволяє хмарному об'єктному сховищу лінійно зростати, обробляючи великі обсяги даних. До будь-якого об'єкта можна прив'язати будь-яку кількість метаданих у форматі «ключ-значення» (наприклад, content-type: video, department: marketing або retention-policy: 5-years).
Крім того, ця архітектура передбачає розділення рівнів зберігання та обчислень, що дозволяє розвивати й нарощувати їх незалежно один від одного. Об'єктне сховище даних забезпечує доступ безпосередньо через API.
Ще один важливий момент — така архітектура дуже зручна для забезпечення відмовостійкості систем зберігання петабайтного масштабу. Замість класичного RAID-масиву, що потребує тривалого й складного відновлення при виході диска з ладу, в об'єктному сховищі використовується технологія надлишкового кодування (Erasure Coding) з опорою на контрольні суми, розподілені між великою кількістю серверів. Це дозволяє пережити одночасну відмову навіть одразу кількох апаратних вузлів — в одному або кількох ЦОД. Придбати об'єктне сховище можна або розгорнувши його на власній інфраструктурі, або орендувавши в хмарного оператора.
Наскільки безпечне об'єктне сховище AWS S3?
Amazon Web Services Simple Storage Service (AWS S3) — це об'єктне сховище, яке є, попри безліч альтернатив, фактичним галузевим стандартом для зберігання даних у хмарі. Одним із чинників такої популярності є найвищий рівень відмовостійкості та захисту даних. Об'єктне сховище Amazon S3 захищене багаторівневою системою безпеки, що забезпечує збереження даних на кількох рівнях. Оператор забезпечує фізичний захист дата-центрів, відмовостійкість інфраструктури та ізоляцію віртуальних середовищ. Серед використовуваних інструментів — підтримка суворих IAM-політик і повний аудит операцій. Для захисту конфіденційних даних застосовується шифрування на стороні сервера (SSE), зокрема за допомогою фірмової технології AWS KMS. Від програм-шифрувальників допомагає рішення S3 Object Lock для створення незмінних копій даних.
Але на практиці всіх цих заходів достатньо далеко не завжди. Головне питання полягає в тому, що об'єктне сховище S3 використовує принцип розподіленої відповідальності (Shared Responsibility Model), де оператор відповідає за саму хмару, а клієнт — за безпеку власних даних усередині неї. І проблеми якраз найчастіше виникають саме на стороні клієнта. Загалом же об'єктне сховище AWS повністю відповідає всім основним міжнародним стандартам безпеки, включаючи PCI-DSS і GDPR.
Як працює Amazon Simple Storage Service (Amazon S3)?
Архітектура Amazon Simple Storage Service фактично складається з двох основних частин: одна з них відповідає за маршрутизацію запитів, а інша — за фізичне розміщення об'єктів у сховищі. Такий підхід дозволяє знижувати затримки під час обробки даних і надавати доступ до файлів за мілісекунди. При цьому користувацький застосунок взаємодіє виключно з логічними сутностями (бакетами) через стандартний HTTP API, а платформа сама розподіляє дані між незалежними вузлами для забезпечення відмовостійкості.
Фірмовий протокол AWS S3 API сьогодні використовується дуже широко, а Amazon Web Services S3 сумісне сховище стало стандартною опцією для організацій, яким потрібна сумісність із S3 API без прив'язки до тієї чи іншої платформи. І ще кілька слів про архітектурні особливості. Сервіс Amazon S3 забезпечує сувору узгодженість даних після запису (strong read-after-write consistency) для всіх нових об'єктів і операцій видалення. Слід також зазначити, що S3 — це не лише зберігання даних. Завдяки інтеграції з подійно-орієнтованою архітектурою (Event-Driven Architecture), AWS S3 сховище забезпечує багато суміжних можливостей. Наприклад, можна створювати асинхронну подію у форматі JSON, яку платформа миттєво доставляє до цільових сервісів на кшталт AWS Lambda, Amazon SQS або SNS.
Як формується ціна S3-сумісного об'єктного сховища?
Головний принцип, за яким формується вартість використання сховища S3, можна описати терміном «оплата за фактом» (pay-as-you-go), що є звичною моделлю для хмарних операторів. Але саме формування вартості принципово відрізняється від класичних дисків, де користувач сплачує фіксовану суму за певний обсяг виділеного простору. В Amazon Web Services S3 ціна складається з чотирьох компонентів: обсягу даних, кількості операцій (API-запити), мережевого трафіку та вартості додаткових сервісів. З цієї причини в AWS S3 ціна може суттєво варіюватися залежно від типу навантаження та завдань. Якщо дані просто лежать практично без руху, то вартість їхнього зберігання умовно становитиме $100, але в разі, коли до цих даних постійно звертаються тисячі мікросервісів, реальний рахунок може зрости в кілька разів за рахунок супутніх витрат.
Найпідступнішою в цьому контексті статтею витрат є плата за API-запити, особливо для динамічних застосунків. Кожне звернення застосунку тарифікується пакетами. При цьому запити на запис і зміну коштують значно дорожче, ніж запити на читання, що впливає на AWS S3 сховище ціна. Відповідно, якщо клієнтська система спроєктована неоптимально, вартість обробки запитів може перевищити ціну безпосереднього зберігання файлів. Інші три фактори також суттєво впливають на підсумковий рахунок. Тому Amazon S3 сховище вартість завжди повинна розраховуватися з урахуванням особливостей конкретного навантаження, а не лише обсягу розміщених даних.
Які типи даних найкраще зберігати у сховищі S3?
Хмара Amazon Web Services S3 використовується для найрізноманітніших навантажень і завдань, але найчастіше сховище S3 стає основою для корпоративних аналітичних платформ і роботи з «озерами даних» (Data Lake). Архітектура S3 добре підходить для роботи з величезними масивами неструктурованої інформації, включаючи логи, дані телеметрії, масиви даних для машинного навчання, архіви, резервні копії та багато іншого. В AWS S3 хмара також часто виносять медіаархіви та образи віртуальних машин.
Ще одним напрямом використання Amazon Web Services S3 хмара є промислові системи та Інтернет речей (IoT), де принципове значення має швидка й безперебійна обробка інтенсивних потоків даних від сотень або тисяч пристроїв. Крім того, хмарні сервіси Amazon S3 оснащені аналітичними інструментами, що дозволяють виконувати складні SQL-запити безпосередньо до даних, які лежать у бакетах, оминаючи складний процес їхнього імпорту до традиційних сховищ. Окрім цього, об'єктна архітектура S3 оптимізована для роботи з Write Once, Read Many (WORM) — даними, які записуються один раз, а потім багаторазово читаються без змін, що важливо в контексті захисту даних від програм-вимагачів.
Які альтернативи AWS S3 існують для компаній в Україні?
На українському ринку вибір ІТ-архітектури дедалі частіше визначається не лише економічними або навіть технічними аспектами, а й конкретними вимогами регуляторів. Зокрема, існують вимоги щодо зберігання критично важливих даних усередині країни. Тому винесення даних до закордонних дата-центрів не завжди є допустимим. Але якщо об'єктне сховище все ж потрібне, його можна отримати і всередині країни. Альтернатива Amazon S3 існує. Великі українські хмарні провайдери пропонують S3-сумісні платформи у власних сертифікованих дата-центрах.
Попри те, що AWS S3 стала фактичним стандартом для галузі, існують десятки інших рішень для об'єктного зберігання. Наприклад, De Novo розгортає своє об'єктне сховище S3/Grid на базі платформи NetApp StorageGRID. Інші оператори можуть використовувати альтернативи AWS S3 у вигляді Cubbit (DS3), MinIO, Ceph та ін. Сумісність означає можливість для компаній використовувати звичні інструменти роботи за рідним протоколом S3 API, але при цьому юридично та фізично залишатися в правовому полі України.
Під час вибору провайдера компанії часто порівнюють AWS S3 послуги з локальними пропозиціями, оцінюючи вартість, підтримку та вимоги до розміщення даних. У багатьох випадках шальки терезів схиляються до вибору гібридної архітектури зберігання, коли критично важливі дані залишаються в українській юрисдикції, а менш важливі можуть виноситися за кордон у нове сховище AWS S3.