ML Cloud у деталях. Про що говорили на новому вебінарі De Novo

Теми штучного інтелекту та машинного навчання (AI/ML) сьогодні викликають найбільший інтерес в ІТ-фахівців по всьому світі. Тим більше, що технології розвиваються неймовірно динамічно й від швидкості впровадження рішень, виведення ринку нових інноваційних послуг, нерідко залежить успіх бізнесу. Тому такий великий зараз інтерес до AI/ML-технологій у хмарі, адже вони дозволяють в найкоротші терміни отримати у своє розпорядження всі необхідні інструменти для розробки, впровадження та експлуатації ШІ. Український ринок не є винятком — попит на AI/ML-платформи зростає й в нашій країні.

Відповідаючи на запити ринку, ще на початку 2024 року компанія De Novo запропонувала користувачам цілу низку сервісів для ML-інженерів, зокрема — Tensor Cloud, HTI та ML Cloud. Останньому з них був присвячений спеціальний вебінар (участь у ньому взяло понад сто осіб), де сервіс ML Cloud було розглянуто в деталях, головним чином, з практичного боку.

Поєднуючи найкраще

Найважливішою складовою сервіса De Novo ML Cloud є програмний комплекс ML Stack — партнерська розробка української компанії MK Consulting. Власне, ML Stack, розгорнутий на Tensor Cloud або HTI у поєднанні з Kubernetes промислового класу – це і є De Novo ML Cloud. Про технічні особливості та практичні аспекти використання цього сервісу розповів Євген Краснокутський — ML Lead MK Consulting. Якщо коротко, то це когерентна, попередньо сконфігурована й самодостатня збірка кращого (best of breed) відкритого ПЗ для ML/AI яка створює комфортне та звичне робочого оточення ML-інженера.

У складі стека гармонійно поєднані такі елементи як платформа для управління життєвим циклом проєктів машинного навчання MLflow, універсальний інструментарій для автоматизованого машинного навчання (AutoML) Katib, об'єктне сховище MinIO, система управління користувачами Keycloak, набір інструментів машинного навчання та MLOps для Kubernetes — Kubeflow (та інструментарій для серфінгу KServe у його складі). Для збору та візуалізації даних використовуються, відповідно, Prometheus та Grafana, а для анотації зображень та відео – CVAT.

Основні компоненти програмної платформи ML Stack – найважливішої частини хмарного сервісу для ML-інженерів De Novo ML Cloud

Продумана комбінація компонентів дозволила створити програмний комплекс, який повністю задовольняє  потреби ML-інженерів у зручних та функціональних робочих інструментах. На всіх етапах презентація супроводжувалася практичною демонстрацією, яка допомогла оцінити функціональність та зручність сервісу. 

Що в основі ML-хмари

Окрема частина заходу біла присвячена інфраструктурним рішенням. Зокрема, Геннадій Карпов, директор з технологій De Novo, розповів про базові компоненти, що лежать в основі нових послуг. Зокрема, це найпотужніші GPU NVIDIA H100/L40S з тензорними ядрами, інтегрований технологічний стек на базі VMware vSphere, VMware Tanzu Kubernetes Grid та NVIDIA AI Enterprise, надійні та потужні сервери, системи збереження даних тощо. Окремо було згадано послуги Kubernetes as a Service, які також доступні в колективній та приватній хмарах De Novo. Всі ML-сервіси забезпечені професійною технічною підтримкою та доступні для тестування.

Технологічний стек сервісу De Novo ML Cloud

По завершенню основних доповідей вебінару, можна було у вільному режимі поспілкуватися з експертами в галузі AI/ML-технологій. Фінальне обговорення технічних питань показало глибоке розуміння теми та зацікавленість з боку слухачів у засобах для розгортання інноваційних ШІ-проєктів у хмарах.