Объектное хранилище S3/Grid
Де-факто стандарт для Cloud Native и неструктурированных данных
De Novo S3/Grid — это полностью S3-совместимое объектное хранилище промышленного класса, построенное на платформе мирового лидера индустрии хранения данных — NetApp. Сервис предназначен для производительных cloud-native сред и сценариев, где критически важны надежность, безопасность и прогнозируемая стоимость.
Хранилище реализует API Amazon S3. Переход с AWS S3 на De Novo S3/Grid (и наоборот) не требует никаких изменений в коде приложений, SDK или CI/CD-процессах. Это позволяет строить гибридные и мультиоблачные архитектуры без vendor lock-in.
Immutability и защита от ransomware
Встроенная функциональность Object Lock (immutability) гарантирует неизменность данных в течение заданного периода. Даже администратор системы не может изменить или удалить такие объекты. Это ключевой механизм защиты от кибератак, ошибок персонала и вредоносных программ-шифровальщиков.
Доступ и поддержка
Доступ к S3/Grid унифицирован — HTTPS через интернет или выделеные линии. Сервис может использоваться с Облака De Novo, с on-premise инфраструктуры или с других облачных платформ.
Коммерческая поддержка уровня production grade support является обязательной составляющей сервиса и обеспечивает стабильную эксплуатацию в производительных средах.
Получите консультацию
Что такое объектное хранилище?
Хранилища данных делятся на три типа — файловые, блочные и объектные. Каждый из них имеет свои особенности, ограничения и сферы применения. Например, файловое хранилище удобно для работы для пользователей и приложений, блочное — для виртуальных машин и баз данных. Но, оба эти типа часто начинают испытывать проблемы, когда нагрузка растёт до петабайтного уровня. В этом случае удобная иерархическая структура файлового хранилища из файлов и папок становится препятствием для масштабирования, а отсутствие встроенных метаданных в блочном хранилище затрудняет поиск информации (что ведет к резкой потере производительности). Поэтому, когда система проектируется с расчетом на большие объемы хранения неструктурированной информации, чаще всего выбирают третий вариант.
Объектное хранилище – это когда данные размещаются в виде независимых объектов (отсюда и название). При этом отсутствует иерархическая структура, как в файловом хранилище, что существенно упрощает и ускоряет работу с данными. Каждый объект в такой одноранговой системе получает уникальный идентификатор и метаданные (для организации поиска и сквозной аналитики). В итоге структура хранения существенно упрощается, а главное, такой подход позволяет облачному объектному хранилищу линейно расти, переваривая объемы данных. К любому объекту можно привязать любое количество метаданных в формате «ключ-значение» (например, content-type: video, department: marketing или retention-policy: 5-years).
К тому же данная архитектура подразумевает разделение уровней хранения и вычислений, что позволяет развивать и наращивать их независимо друг от друга. Объектное хранилище данных обеспечивает доступ напрямую через API.
Еще один важный момент — такая архитектура очень удобна для обеспечения отказоустойчивости систем хранения петабайтного масштаба. Вместо классического RAID-массива, требующего долгого и сложного восстановления при выходе диска из строя, в объектном хранилище используется технология избыточного кодирования (Erasure Coding) с опорой на контрольные суммы, распределённые по множеству серверов. Это позволяет пережить одновременный отказ даже сразу нескольких аппаратных узлов — в одном или нескольких ЦОД. Приобрести объектное хранилище можно либо развернув его на собственной инфраструктуре, либо арендовав у облачного оператора.
Насколько безопасно объектное хранилище AWS S3?
Amazon Web Services Simple Storage Service (AWS S3) – это объектное хранилище, которое является, несмотря на множество альтернатив, фактическим отраслевым стандартом для хранения данных в облаке. Одним из факторов такой популярности является высочайший уровень отказоустойчивости и защиты данных. Объектное хранилище Amazon S3 защищено многоуровневой системой безопасности, обеспечивающей сохранность данных на нескольких уровнях. Оператор обеспечивает физическую защиту дата-центров, отказоустойчивость инфраструктуры и изоляцию виртуальных сред. Среди используемых инструментов — поддержка строгих IAM-политик и полный аудит операций. Для защиты конфиденциальных данных применяется шифрование на стороне сервера (SSE), в том числе с помощью фирменной технологии AWS KMS. Против программ-шифровальщиков помогает решение S3 Object Lock для создания неизменяемых копий данных.
Но, на практике всех этих мер достаточно далеко не всегда. Главный вопрос в том, что объектное хранилище S3 использует принцип разделяемой ответственности (Shared Responsibility Model), где оператор отвечает за само облако, а клиент — за безопасность собственных данных внутри него. И проблемы как раз чаще всего возникают именно на клиентской стороне. В целом же объектное хранилище AWS полностью соответствует всем главным международным стандартам безопасности, включая PCI-DSS и GDPR.
Как работает Amazon Simple Storage Service (Amazon S3)?
Архитектура Amazon Simple Storage Service, фактически, состоит из двух основных частей: одна из них отвечает за маршрутизацию запросов, а другая — за физическое размещение объектов в хранилище. Такой подход позволяет снижать задержки в обработке данных и предоставлять доступ к файлам за миллисекунды. При этом пользовательское приложение взаимодействует исключительно с логическими сущностями (бакетами) через стандартный HTTP API, а платформа сама распределяет данные по независимым узлам для обеспечения отказоустойчивости.
Фирменный протокол AWS S3 API сегодня используется очень широко, а Amazon Web Services S3 совместимое хранилище стало стандартной опцией для организаций, которым нужна совместимость с S3 API без привязки к той или иной платформе. И еще несколько слов об архитектурных особенностях. Сервис Amazon S3 обеспечивает строгую согласованность данных после записи (strong read-after-write consistency) для всех новых объектов и операций удаления. Следует отметить также, что S3 это не только хранение данных, благодаря интеграции с событийно-ориентированной архитектурой (Event-Driven Architecture), AWS S3 хранилище обеспечивает множество смежных возможностей. Например, можно создавать асинхронное событие в формате JSON, которое платформа моментально доставляет в целевые сервисы вроде AWS Lambda, Amazon SQS или SNS.
Как формируется цена S3-совместимого объектного хранилища?
Главный принцип, по которому формируется стоимость использования хранилища S3 можно описать термином «оплата по факту» (pay-as-you-go), что является привычной моделью для облачных операторов. Но само формирование стоимости принципиально отличается от классических дисков, где пользователь платит фиксированную сумму за определенный объем выделенного пространства. В Amazon Web Services S3 цена складывается из четырех компонентов: объема данных, количества операций (API-запросы), сетевого трафика и стоимости дополнительных сервисов. По этой причине в AWS S3 цена может сильно варьироваться в зависимости от типа нагрузки и задач. Если данные просто лежат практически без движения, то стоимость их хранения будет стоить, условно $100, но в случае, когда к этим данным постоянно обращаются тысячи микросервисов, реальный счет может вырасти в несколько раз за счет сопутствующих затрат.
Самая коварная в данном контексте статья расходов — плата за API-запросы, особенно для динамичных приложений. Каждое обращение приложения тарифицируется пакетами. При этом запросы на запись и изменение стоят значительно дороже, чем запросы на чтение, что влияет на AWS S3 хранилище цена. Соответственно, если клиентская система спроектирована не оптимально, стоимость обработки запросов может превысить цену непосредственного хранения файлов. Другие три фактора также немало влияют на итоговый чек. Поэтому Amazon S3 хранилище стоимость должна всегда рассчитываться с учетом особенностей конкретной нагрузки, а не только объема размещенных данных.
Какие типы данных лучше всего хранить в хранилище S3?
Облако Amazon Web Services S3 используется для самых разных нагрузок и задач, но чаще всего, хранилище S3 становится основой для корпоративных аналитических платформ и работы с «озерами данных» (Data Lake). Архитектура S3 хорошо подходит для работы с огромными массивами неструктурированной информации, включая логи, данные телеметрии, массивы данных для машинного обучения, архивов, резервных копий и много другого. В AWS S3 облако также часто выносят медиаархивы и образы виртуальных машин.
Еще одним направлением использования Amazon Web Services S3 облако являются промышленные системы и Интернет вещей (IoT), где принципиальное значение имеет быстрая и бесперебойная обработка интенсивных потоков данных от сотен или тысяч устройств. Кроме того облачные сервисы Amazon S3 оснащены аналитическими инструментами, позволяющими выполнять сложные SQL-запросы непосредственно к данным, лежащим в бакетах, минуя сложный процесс их импорта в традиционные хранилища. Помимо этого, объектная архитектура S3 оптимизирована для работы с Write Once, Read Many (WORM) — данными, которые записываются один раз, а затем многократно читаются без изменений, что важно в контексте защиты данных от программ-вымогателей.
Какие альтернативы AWS S3 существуют для компаний в Украине?
На украинском рынке выбор ИТ-архитектуры все чаще определяется не только экономическими или даже техническими аспектами, но и конкретными требованиями регуляторов. В том числе есть требования по хранению критически важных данных внутри страны. Поэтому вынос данных в зарубежные дата-центры не всегда допустим. Но, если объектное хранилище все-таки нужно, его можно получить и внутри страны. Альтернатива Amazon S3 существует. Крупные украинские облачные провайдеры предлагают S3-совместимые платформы в собственных сертифицированных дата-центрах.
Несмотря на то, что AWS S3 стала, фактически стандартом для отрасли, существуют десятки других решений для объектного хранения. Например, De Novo развертывает свое объектное хранилище S3/Grid на базе платформы NetApp StorageGRID. Другие операторы могут использовать альтернативы AWS S3 виде Cubbit (DS3), MinIO, Ceph и др. Совместимость означает возможность для компаний использовать привычные инструменты работы по родному протоколу S3 API, но при этом юридически и физически оставаться в правовом поле Украины.
При выборе провайдера компании часто сравнивают AWS S3 услуги с локальными предложениями, оценивая стоимость, поддержку и требования к размещению данных. Во многих случаях чаша весов склоняется к выбору гибридной архитектуры хранения, когда критически важные данные остаются в украинской юрисдикции, а менее важные могут выноситься за границу в новое хранилище AWS S3.