Гнучкість, ціна та безпека даних: що шукають замовники в українських AI-хмарах

Український бізнес схоже пройшов ранній етап знайомства з генеративним ШІ, зібрав перші прототипи й побачив, де технологія може бути корисною та які її слабкі місця. Але коли експеримент потрібно перетворити на корпоративний сервіс, з’являються інші питання: де обробляються дані, скільки коштує інференс, хто відповідає за інфраструктуру, чи можна запускати рішення за межами української юрисдикції тощо.

Щоб полегшити відповідь, De Novo створила AI Studio — кероване середовище для запуску проєктів GenAI у захищеній українській хмарі. Про те, чому глобальних ШІ-провайдерів не завжди достатньо, як швидко та безболісно перейти від навчання до інференсу та яким може бути розвиток корпоративного ШІ в Україні, ми поговорили з Дмитром Федоренком, AI-директором De Novo. 

На ринку вже є глобальні хмарні платформи й моделі — OpenAI, Anthropic Claude, Google Gemini та багато інших. Для чого тоді українському оператору створювати власний сервіс?

Глобальні платформи дуже зручні на старті. Якщо компанія хоче швидко перевірити ідею, зробити внутрішнього асистента чи протестувати RAG на невеликому наборі даних чи документів, це логічний перший крок. Не потрібно думати про GPU, інференс, оркестрацію моделей, оновлення середовища чи підтримку інфраструктури.

Але після перших експериментів з’являються інші питання. Якщо сценарій стає регулярним, кількість запитів росте, контекст збільшується, а модель починає працювати з великим масивом корпоративних документів або внутрішніми процесами — вартість токенів уже може стати неприйнятно високою. Тому за стабільного навантаження та прогнозованих сценаріїв, використання виділеного середовища для інференсу часто вигідніше, ніж оплата зовнішніх API.

Другий фактор — контроль. Для банків, державного сектору, критичної інфраструктури важливо розуміти, де обробляються дані, хто має до них доступ, у якій юрисдикції працює постачальник і як виконуються вимоги безпеки та комплаєнсу. У таких випадках ШІ-проєкт стає частиною корпоративної архітектури. Платформа AI Studio закриває потребу у створенні керованих GenAI-сервісів корпоративного рівня.

Самостійне розгортання такого середовища може займати тижні, бо потрібно підготувати GPU-інфраструктуру, контейнерну платформу, мережу, сховища, налаштувати моніторинг, безпеку й програмний стек. У AI Studio значна частина цього процесу вже зібрана в готову архітектуру й у певних сценаріях середовище під проєкт можна розгорнути за кілька годин, іноді навіть за 30 хвилин. 

Для De Novo AI Studio це не перший ШІ-продукт. Компанія розвиває цей напрям вже кілька років. Які висновки ви наразі зробили з цього досвіду — що спрацювало, а що не знайшло відгуку? 

Для нас, як, мабуть, і для всіх хмарних операторів, включно зі світовими гігантами, триває процес пошуку оптимальної моделі для ринку, який змінюється настільки швидко, що це майже не має аналогів в історії ІТ. У галузі ШІ за останні роки суттєво змінилися задачі, інструменти та вимоги до моделей. Змінилися, мабуть, вже кілька разів. Тому ми створювали різні рішення, перевіряли попит, залишали те, що працює, прибирали те, що не стало масовим.

Одним із перших комплексних продуктів була платформа ML Cloud — рішення для команд, які працюють із проєктами машинного навчання. Збірка була орієнтована на ML-інженерів, експерименти з моделями, роботу з даними та обчислювальними ресурсами. Проте час показав, що багатьом таким командам насправді не потрібне постійне продуктивне середовище. Вони запускають ресурси під конкретний етап роботи, використовують їх короткий час, а потім вимикають.

Другий висновок — попит швидко змістився від класичних ML-задач до LLM, інференсу та GenAI-сценаріїв. Клієнтам дедалі частіше потрібне середовище для швидкого запуску корпоративних асистентів чи RAG-систем, а не для довгого навчання моделей. Це інша архітектура, інше навантаження й логіка споживання ресурсів. Тому ML Cloud зараз функціонує та підтримується переважно для наявних клієнтів, а стратегічний акцент ми перенесли на платформу AI Studio, яка краще відповідає поточному попиту, орієнтованому на LLM та інференс.

AI Studio позиціонується як сервіс для швидкого старту GenAI. Які реальні проблеми клієнтів ви насамперед вирішуєте?

Якщо коротко, то основні проблеми, які вирішує наша платформа — це складність інфраструктури, нестача власних ШІ-інженерів у замовника, а також надто довгий шлях від ідеї до робочого прототипу. Проте ці проблеми не існують окремо. Коли компанія починає впроваджувати GenAI, вибір моделі, насправді, часто є найпростішою частиною задачі.

Складніше з усім інфраструктурним контуром навколо неї. Потрібні прискорювачі GPU, середовище для запуску моделей, інструменти для роботи з даними тощо. Для замовників ця сукупність вимог у поєднанні із складністю реалізації може «вбити» будь-яке бажання займатися розвитком проєктів. Усе це потребує часу, десятків і сотень експериментів (більшість із яких, звісно, будуть невдалими), а також перевірки гіпотез без гарантії успіху. Є простіший шлях — готова платформа у хмарі.

Тобто ми бачимо AI Studio як своєрідний стартовий майданчик для корпоративного ШІ. Сервіс знімає більшість базових проблем та знижує ризики, пов’язані з даними. Користувач отримує готову архітектуру, яку можна швидко розгорнути та адаптувати під власний сценарій. Тобто для нього фокус зміщується з технічної фази на бізнес‑логіку.

Окремий блок — робота з корпоративними знаннями. AI Studio дає можливість будувати RAG-сценарії, підключати власні документи та бази знань, що особливо важливо для замовників, бо більшість корпоративних GenAI-проєктів починаються з конкретних задач. Наприклад, коли треба навчити модель відповідати на запитання з використанням внутрішньої інформації компанії, не виводячи дані в зовнішнє середовище.

Для банків та фінтеху зараз актуальні проєкти з аналізу документації чи пошуку по нормативних базах або підтримка співробітників, автоматизація клієнтських звернень. Для державного сектору — робота з архівами чи нормативними документами. У ритейлі та логістиці це можуть бути помічники для контакт-центрів, сервіси автоматизації. Сценаріїв, насправді, безліч, і їхня кількість постійно зростає.

Також у складі нашої платформи є інструменти для керування моделями, тестування промптів, роботи з локальним інференсом, інтеграції з іншими системами. Тобто AI Studio — це не набір окремих програмних продуктів та ресурсів. Ми створили цілісне середовище, яке поєднує хмарну інфраструктуру De Novo, найсучасніші GPU, контейнерну архітектуру та програмні інструменти з відкритим кодом для роботи з AI-задачами. Такий підхід економить час та гроші, але що важливіше — дає замовнику контрольовану основу для подальшого переходу від прототипу до продуктивного сервісу.

Можете навести кілька прикладів того, які задачі та як вирішує AI Studio?

Ось лише кілька можливих сценаріїв. Наприклад банк може створити внутрішнього RAG-асистента для комплаєнсу та кредитного аналізу. Як відомо, банки працюють із величезними масивами закритої внутрішньої документації: регламентами, кредитними політиками, юридичними нормами, які до того ж часто оновлюються. Використання глобальних API (на кшталт OpenAI) тут може бути неприйнятним чи обмеженим через вимоги НБУ та безпеку даних.

У межах AI Studio банк розгортає ізольоване середовище з використанням інструменту Dify для створення RAG-системи. Векторна база даних наповнюється внутрішніми документами, а як «мозок» системи використовується модель із відкритими вагами (наприклад, Llama 3 або Mistral), запущена на GPU NVIDIA L40S. Кредитний інспектор вводить запит щодо конкретного кейсу, і система миттєво знаходить потрібні пункти серед тисяч сторінок регламентів, формуючи обґрунтовану відповідь із посиланнями на джерела. Це забезпечує повне збереження даних усередині української юрисдикції в атестованому середовищі хмарної інфраструктури De Novo, що є критично важливим для фінсектору.

Ще один типовий сценарій. Для держсектору та оборонних відомств критично важливою є розробка якісного софту без витоку вихідного коду в зовнішні хмари. AI Studio дозволяє розгорнути середовище для роботи з моделями-кодогенераторами через Ollama для локального запуску моделей та Portainer для керування контейнерним середовищем. Розробники отримують доступ до локального аналога GitHub Copilot, який допомагає писати код, проводити аудит безпеки та генерувати документацію, працюючи повністю всередині захищеного контуру De Novo на території України. Завдяки Langfuse команда моніторить трасування запитів, якість відповідей, версії промптів, затримки (latency) та вартість LLM-викликів. Такий підхід дозволяє державним організаціям зберігати цифровий суверенітет, не жертвуючи швидкістю розробки (адже доступні потужні GPU A100, H100, H200), та гнучко масштабувати обчислювальні потужності під конкретні завдання.

Великі логістичні оператори також можуть мати користь, бо вони щодня стикаються з необхідністю обробки різнорідних неструктурованих даних: інвойсів, транспортних накладних та митних декларацій (часто різними мовами). В AI Studio команда розробників може побудувати агентний сценарій, використовуючи n8n для оркестрації процесів та LiteLLM як шлюз до моделей.

Агент отримує скан-копію документа, через OCR-сервіс передає текст моделі, яка витягує ключові сутності (номер вантажу, вагу, код товару, відправника) та автоматично заповнює поля в корпоративній ERP-системі. Використання локального інференсу на картах NVIDIA L4 дозволяє компанії економити на токенах при великих обсягах даних і гарантує, що комерційна інформація про ланцюжки постачань не передається зовнішнім LLM-провайдерам та залишається в контрольованому середовищі замовника.

До речі, де проходить та межа між експериментом із LLM та повноцінним GenAI-сервісом?

Експеримент — це коли ви отримали вдалу відповідь у чаті або зібрали перший прототип, який працює на обмеженому наборі даних. Це важливий етап, але він ще мало говорить про готовність рішення до реального використання. У бізнес-процесах важливі стабільність, повторюваність результату, контроль вартості. Не забуваємо й про інтеграцію з іншими системами клієнтів, адже майже ніхто не приходить у ШІ з нуля — у замовника завжди є власна ІТ‑історія.

Повноцінний GenAI-сервіс починається там, де з’являється архітектура навколо моделі. Якщо AI-агент — це система, що не лише відповідає на відносно прості запитання, а й створює задачі, аналізує транзакції або готує звіти, до нього вже потрібно ставитися як до частини бізнес-процесу. Тобто LLM вже стає повноцінним компонентом корпоративної ІТ-системи. AI Studio якраз допомагає швидко пройти шлях від «іграшки» до робочого інструменту — компанія може почати з PoC, довести його до MVP, перевірити сценарій на реальних даних й лише після цього прийняти рішення про перенесення в продуктивне використання. 

Окрема частина AI-напряму De Novo — це інфраструктура. Які GPU зараз доступні клієнтам та в чому їх перевага з погляду вибору карт для різних AI/ML-сценаріїв?

Задачі AI/ML дуже різноманітні, тут немає одного переважного типу навантаження. Скажімо, є легкий інференс, комп’ютерний зір, RAG-сценарії, робота з великими мовними моделями, навчання та донавчання моделей й багато інших задач. Для кожного завдання оптимальними будуть різні карти, зокрема з точки зору економіки.

Зараз ми пропонуємо у хмарі De Novo тензорні GPU NVIDIA L4, L40S, H100, A100 та H200. Останні дві моделі — у складі кластерних конфігурацій. Щодо позиціонування, L4 — це енергоефективна модель для інференсу, відео та задач із помірним навантаженням. L40S — більш продуктивне рішення, яке добре підходить як для інтенсивного інференсу, так і для навчання та донавчяння (fine-tuning) моделей, зокрема у задачах GenAI та роботи з візуальними даними. A100 — “робоча конячка” датацентрового рівня для важких ШІ-задач і навчання моделей. Картки серії H ще більш потужні бо представляють нове покоління: H100 є сучасним стандартом для LLM і GenAI завдяки оптимізації під трансформерні моделі та високій продуктивності як у навчанні, так і в інференсі, а  H200 орієнтований на ще більші моделі та сценарії, де критичними є обсяг і пропускна здатність пам’яті (зокрема великі LLM, задачі з довгим контекстом та RAG-системи).

Цей набір досить збалансований та фактично закриває весь перелік задач, що існують у корпоративному або державному секторі України. Клієнт завжди може обрати конфігурацію під конкретне завдання та бюджет. 

Чому AI Studio, стала актуальною для українських компаній саме зараз?

Не зовсім «зараз». Платформа працює вже майже рік і користується попитом із початку запуску. Тобто потреба в такому сервісі, вочевидь, назріла, і тут збіглося кілька факторів.

Головний драйвер — це цифровий суверенітет. Українські компанії (особливо у фінтеху та держсекторі) мають жорсткі вимоги до локалізації даних. Використання публічних хмар не завжди прийнятне через комплаєнс або затримки (latency). AI Studio дає можливість будувати власну AI-інфраструктуру за моделлю сloud-native та проводити експерименти швидко та недорого, не виводячи дані за межі країни. 

Дуже зручною для клієнта є модель шаблонів — ми пропонуємо багато готових варіантів, які легко розгортати, тестувати та переносити в продуктив, бо все побудовано на базі гнучкої контейнерної архітектури. Великим плюсом є те, що наші рішення можна поєднувати з власними компонентами замовника. Тобто клієнт ставить експерименти, робить інтеграції, а потім плавно запускає вдалі розробки у продуктив.

До того ж, AI Studio знижує поріг входу у GenAI-проєкти, бо щоб самостійно зібрати відповідне середовище, потрібні фахівці, які володіють багатьма компетенціями у різних галузях (зокрема мають знання хмарної інфраструктури, DevOps, MLOps, кібербезпеки, розробки ПЗ). На українському ринку таких людей чи команд не так вже й багато, а ті, що є коштують дорого.

А як щодо питання захисту даних?

В AI Studio кожен замовник працює у власному ізольованому середовищі на базі хмарної інфраструктури De Novo. Дані зберігаються та обробляються на потужностях в Україні, а доступи можуть налаштовуватися відповідно до корпоративних політик клієнта. До того ж наша платформа орієнтована на роботу з моделями з відкритими вагами та власними джерелами даних клієнта. Це знижує залежність від зовнішніх API на кшталт OpenAI, Anthropic чи Google.

Місцева юрисдикція De Novo означає, що клієнти працюють в межах українського правового поля. До того ж у вирішенні питань клієнтів наша техпідтримка не має рівних — ані за часом реагування, ані за глибиною розуміння архітектури та процесів. Також De Novo має цілу низку міжнародних та українських сертифікатів з безпеки даних та управління процесами — КСЗІ, ISO/IEC 27701:2019, ISO/IEC 27001:2022 та багато інших. Щороку наша хмара та дата-центри проходять десятки незалежних аудитів.

Який наступний етап розвитку AI Studio?

Найважливіший напрям для нас зараз — агентні сценарії та інференс у продуктивному середовищі. Ринок швидко переходить від простих чат-ботів, які лише відповідають на запитання, до рішень, що можуть виконувати конкретні дії та сценарії, наприклад аналізувати документи чи взаємодіяти з внутрішніми системами через API. Саме тут GenAI формує для бізнесу практичну цінність.

Другий напрям — готові галузеві шаблони для українського ринку. Ми хочемо, щоб замовник міг запускати зрозумілий сценарій, наприклад AI-помічника для юристів чи аналітика продажів, суттєво скорочуючи собі шлях від ідеї до робочого прототипу й далі до продуктивного використання.

Також важливо розвивати інтеграцію з корпоративними системами. Якщо AI-сервіс живе окремо від інших важливих систем замовника — документообігу, CRM, внутрішніх порталів, — його користь обмежена. Справжня цінність з’являється тоді, коли модель працює всередині бізнес‑процесу й має доступ до дозволених джерел даних.

Якщо говорити ширше, то в Україні вже є технологічна база для практичного впровадження GenAI майже в усіх можливих сценаріях, без критичної залежності від іноземних платформ. Глобальні моделі залишаться важливою частиною ринку, але для місцевого бізнесу та особливо державного сектору дедалі важливішими стають контроль даних, локальна відповідальність та, не в останню чергу, прогнозована вартість. Саме в цій логіці ми працюємо далі та розвиваємо наші AI-продукти.

До речі, щоб не обмежуватися лише словами — запрошуємо вас протестувати AI Studio на власних задачах!