Гибкость, цена и безопасность данных: что ищут заказчики в украинских AI-облаках

Украинский бизнес, похоже, прошел ранний этап знакомства с генеративным ИИ, собрал первые прототипы и увидел, где технология может быть полезна и какие у нее слабые места. Но когда эксперимент нужно превратить в корпоративный сервис, появляются другие вопросы: где обрабатываются данные, сколько стоит инференс, кто отвечает за инфраструктуру, можно ли запускать решения за пределами украинской юрисдикции и т.д.

Чтобы облегчить ответ, De Novo создала AI Studio — управляемую среду для запуска проектов GenAI в защищенном украинском облаке. О том, почему глобальных ИИ-провайдеров не всегда достаточно, как быстро и безболезненно перейти от обучения к инференсу и каким может быть развитие корпоративного ИИ в Украине, мы поговорили с Дмитрием Федоренко, AI-директором De Novo.

На рынке уже есть глобальные облачные платформы и модели — OpenAI, Anthropic Claude, Google Gemini и многие другие. Для чего тогда украинскому оператору создавать собственный сервис?

Глобальные платформы очень удобны на старте. Если компания хочет быстро проверить идею, сделать внутреннего ассистента или протестировать RAG на небольшом наборе данных или документов, это логичный первый шаг. Не нужно думать о GPU, инференсе, оркестрации моделей, обновлении среды или поддержке инфраструктуры.

Но после первых экспериментов появляются другие вопросы. Если сценарий становится регулярным, количество запросов растет, контекст увеличивается, а модель начинает работать с большим массивом корпоративных документов или внутренними процессами — стоимость токенов уже может стать неприемлемо высокой. Поэтому при стабильной нагрузке и прогнозируемых сценариях использование выделенной среды для инференса часто выгоднее, чем оплата внешних API.

Второй фактор — контроль. Для банков, государственного сектора, критической инфраструктуры важно понимать, где обрабатываются данные, кто имеет к ним доступ, в какой юрисдикции работает поставщик и как выполняются требования безопасности и комплаенса. В таких случаях ИИ-проект становится частью корпоративной архитектуры. Платформа AI Studio закрывает потребность в создании управляемых GenAI-сервисов корпоративного уровня.

Самостоятельное развертывание такой среды может занимать недели, потому что нужно подготовить GPU-инфраструктуру, контейнерную платформу, сеть, хранилища, настроить мониторинг, безопасность и программный стек. В AI Studio значительная часть этого процесса уже собрана в готовую архитектуру, и в определенных сценариях среду под проект можно развернуть за несколько часов, иногда даже за 30 минут.

Для De Novo AI Studio — это не первый ИИ-продукт. Компания развивает это направление уже несколько лет. Какие выводы вы на данный момент сделали из этого опыта — что сработало, а что не нашло отклика?

Для нас, как, наверное, и для всех облачных операторов, включая мировых гигантов, продолжается процесс поиска оптимальной модели для рынка, который меняется настолько быстро, что это почти не имеет аналогов в истории ИТ. В отрасли ИИ за последние годы существенно изменились задачи, инструменты и требования к моделям. Изменились, наверное, уже несколько раз. Поэтому мы создавали разные решения, проверяли спрос, оставляли то, что работает, убирали то, что не стало массовым.

Одним из первых комплексных продуктов была платформа ML Cloud — решение для команд, которые работают с проектами машинного обучения. Сборка была ориентирована на ML-инженеров, эксперименты с моделями, работу с данными и вычислительными ресурсами. Однако время показало, что многим таким командам на самом деле не нужна постоянная производительная среда. Они запускают ресурсы под конкретный этап работы, используют их короткое время, а затем выключают.

Второй вывод — спрос быстро сместился от классических ML-задач к LLM, инференсу и GenAI-сценариям. Клиентам все чаще нужна среда для быстрого запуска корпоративных ассистентов или RAG-систем, а не для длительного обучения моделей. Это другая архитектура, другая нагрузка и логика потребления ресурсов. Поэтому ML Cloud сейчас функционирует и поддерживается преимущественно для существующих клиентов, а стратегический акцент мы перенесли на платформу AI Studio, которая лучше соответствует текущему спросу, ориентированному на LLM и инференс.

AI Studio позиционируется как сервис для быстрого старта GenAI. Какие реальные проблемы клиентов вы прежде всего решаете?

Если коротко, то основные проблемы, которые решает наша платформа, — это сложность инфраструктуры, нехватка собственных ИИ-инженеров у заказчика, а также слишком долгий путь от идеи до рабочего прототипа. Однако эти проблемы не существуют отдельно. Когда компания начинает внедрять GenAI, выбор модели, на самом деле, часто является самой простой частью задачи.

Сложнее со всем инфраструктурным контуром вокруг нее. Нужны ускорители GPU, среда для запуска моделей, инструменты для работы с данными и т. д. Для заказчиков эта совокупность требований в сочетании со сложностью реализации может «убить» любое желание заниматься развитием проектов. Все это требует времени, десятков и сотен экспериментов (большинство из которых, конечно, будут неудачными), а также проверки гипотез без гарантии успеха. Есть более простой путь — готовая платформа в облаке.

То есть мы видим AI Studio как своеобразную стартовую площадку для корпоративного ИИ. Сервис снимает большинство базовых проблем и снижает риски, связанные с данными. Пользователь получает готовую архитектуру, которую можно быстро развернуть и адаптировать под собственный сценарий. То есть для него фокус смещается с технической фазы на бизнес-логику.

Отдельный блок — работа с корпоративными знаниями. AI Studio дает возможность строить RAG-сценарии, подключать собственные документы и базы знаний, что особенно важно для заказчиков, потому что большинство корпоративных GenAI-проектов начинаются с конкретных задач. Например, когда нужно научить модель отвечать на вопросы с использованием внутренней информации компании, не выводя данные во внешнюю среду.

Для банков и финтеха сейчас актуальны проекты по анализу документации или поиску по нормативным базам либо поддержка сотрудников, автоматизация клиентских обращений. Для государственного сектора — работа с архивами или нормативными документами. В ритейле и логистике это могут быть помощники для контакт-центров, сервисы автоматизации. Сценариев, на самом деле, множество, и их количество постоянно растет. 

Также в составе нашей платформы есть инструменты для управления моделями, тестирования промптов, работы с локальным инференсом, интеграции с другими системами. То есть AI Studio — это не набор отдельных программных продуктов и ресурсов. Мы создали целостную среду, которая объединяет облачную инфраструктуру De Novo, самые современные GPU, контейнерную архитектуру и программные инструменты с открытым кодом для работы с AI-задачами. Такой подход экономит время и деньги, но, что важнее, — дает заказчику контролируемую основу для дальнейшего перехода от прототипа к продуктивному сервису.

Можете привести несколько примеров того, какие задачи и как решает AI Studio?

Вот лишь несколько возможных сценариев. Например, банк может создать внутреннего RAG-ассистента для комплаенса и кредитного анализа. Как известно, банки работают с огромными массивами закрытой внутренней документации: регламентами, кредитными политиками, юридическими нормами, которые к тому же часто обновляются. Использование глобальных API (таких как OpenAI) здесь может быть неприемлемым или ограниченным из-за требований НБУ и безопасности данных.

В рамках AI Studio банк развертывает изолированную среду с использованием инструмента Dify для создания RAG-системы. Векторная база данных наполняется внутренними документами, а в качестве «мозга» системы используется модель с открытыми весами (например, Llama 3 или Mistral), запущенная на GPU NVIDIA L40S. Кредитный инспектор вводит запрос по конкретному кейсу, и система мгновенно находит нужные пункты среди тысяч страниц регламентов, формируя обоснованный ответ со ссылками на источники. Это обеспечивает полное сохранение данных внутри украинской юрисдикции в аттестованной среде облачной инфраструктуры De Novo, что критически важно для финсектора.

Еще один типичный сценарий. Для госсектора и оборонных ведомств критически важна разработка качественного ПО без утечки исходного кода во внешние облака. AI Studio позволяет развернуть среду для работы с моделями-кодогенераторами через Ollama для локального запуска моделей и Portainer для управления контейнерной средой. Разработчики получают доступ к локальному аналогу GitHub Copilot, который помогает писать код, проводить аудит безопасности и генерировать документацию, работая полностью внутри защищенного контура De Novo на территории Украины. Благодаря Langfuse команда мониторит трассировку запросов, качество ответов, версии промптов, задержки (latency) и стоимость LLM-вызовов. Такой подход позволяет государственным организациям сохранять цифровой суверенитет, не жертвуя скоростью разработки (ведь доступны мощные GPU A100, H100, H200), и гибко масштабировать вычислительные мощности под конкретные задачи.

Крупные логистические операторы также могут получить пользу, потому что они ежедневно сталкиваются с необходимостью обработки разнородных неструктурированных данных: инвойсов, транспортных накладных и таможенных деклараций (часто на разных языках). В AI Studio команда разработчиков может построить агентный сценарий, используя n8n для оркестрации процессов и LiteLLM в качестве шлюза к моделям.

Агент получает скан-копию документа, через OCR-сервис передает текст модели, которая извлекает ключевые сущности (номер груза, вес, код товара, отправителя) и автоматически заполняет поля в корпоративной ERP-системе. Использование локального инференса на картах NVIDIA L4 позволяет компании экономить на токенах при больших объемах данных и гарантирует, что коммерческая информация о цепочках поставок не передается внешним LLM-провайдерам и остается в контролируемой среде заказчика.

Кстати, где проходит та граница между экспериментом с LLM и полноценным GenAI-сервисом?

Эксперимент — это когда вы получили удачный ответ в чате или собрали первый прототип, который работает на ограниченном наборе данных. Это важный этап, но он еще мало говорит о готовности решения к реальному использованию. В бизнес-процессах важны стабильность, повторяемость результата, контроль стоимости. Не забываем и об интеграции с другими системами клиентов, ведь почти никто не приходит в ИИ с нуля — у заказчика всегда есть собственная ИТ-история.

Полноценный GenAI-сервис начинается там, где появляется архитектура вокруг модели. Если AI-агент — это система, которая не только отвечает на относительно простые вопросы, но и создает задачи, анализирует транзакции или готовит отчеты, к нему уже нужно относиться как к части бизнес-процесса. То есть LLM уже становится полноценным компонентом корпоративной ИТ-системы. AI Studio как раз помогает быстро пройти путь от «игрушки» до рабочего инструмента — компания может начать с PoC, довести его до MVP, проверить сценарий на реальных данных и только после этого принять решение о переносе в продуктивное использование.

Отдельная часть AI-направления De Novo — это инфраструктура. Какие GPU сейчас доступны клиентам и в чем их преимущество с точки зрения выбора карт для различных AI/ML-сценариев?

Задачи AI/ML очень разнообразны, здесь нет одного преобладающего типа нагрузки. Скажем, есть легкий инференс, компьютерное зрение, RAG-сценарии, работа с большими языковыми моделями, обучение и дообучение моделей и многие другие задачи. Для каждой задачи оптимальными будут разные карты, в том числе с точки зрения экономики.

Сейчас мы предлагаем в облаке De Novo тензорные GPU NVIDIA L4, L40S, H100, A100 и H200. Последние две модели — в составе кластерных конфигураций. Что касается позиционирования, L4 — это энергоэффективная модель для инференса, видео и задач с умеренной нагрузкой. L40S — более производительное решение, которое хорошо подходит как для интенсивного инференса, так и для обучения и дообучения (fine-tuning) моделей, в частности в задачах GenAI и работы с визуальными данными. A100 — «рабочая лошадка» дата-центрового уровня для тяжелых ИИ-задач и обучения моделей. Карты серии H еще мощнее, потому что представляют новое поколение: H100 является современным стандартом для LLM и GenAI благодаря оптимизации под трансформерные модели и высокой производительности как в обучении, так и в инференсе, а H200 ориентирован на еще более крупные модели и сценарии, где критически важны объем и пропускная способность памяти (в частности крупные LLM, задачи с длинным контекстом и RAG-системы).

Этот набор достаточно сбалансирован и фактически закрывает весь перечень задач, которые существуют в корпоративном или государственном секторе Украины. Клиент всегда может выбрать конфигурацию под конкретную задачу и бюджет.

Почему AI Studio стала актуальной для украинских компаний именно сейчас?

Не совсем «сейчас». Платформа работает уже почти год и пользуется спросом с начала запуска. То есть потребность в таком сервисе, очевидно, назрела, и здесь совпало несколько факторов.

Главный драйвер — это цифровой суверенитет. Украинские компании (особенно в финтехе и госсекторе) имеют жесткие требования к локализации данных. Использование публичных облаков не всегда приемлемо из-за комплаенса или задержек (latency). AI Studio дает возможность строить собственную AI-инфраструктуру по модели cloud-native и проводить эксперименты быстро и недорого, не выводя данные за пределы страны.

Очень удобной для клиента является модель шаблонов — мы предлагаем много готовых вариантов, которые легко развертывать, тестировать и переносить в продуктив, потому что все построено на базе гибкой контейнерной архитектуры. Большим плюсом является то, что наши решения можно сочетать с собственными компонентами заказчика. То есть клиент ставит эксперименты, делает интеграции, а затем плавно запускает удачные разработки в продуктив.

Кроме того, AI Studio снижает порог входа в GenAI-проекты, потому что для того, чтобы самостоятельно собрать соответствующую среду, нужны специалисты, которые обладают многими компетенциями в разных областях (в частности имеют знания облачной инфраструктуры, DevOps, MLOps, кибербезопасности, разработки ПО). На украинском рынке таких людей или команд не так уж много, а те, что есть, стоят дорого.

А как насчет вопроса защиты данных?

В AI Studio каждый заказчик работает в собственной изолированной среде на базе облачной инфраструктуры De Novo. Данные хранятся и обрабатываются на мощностях в Украине, а доступы могут настраиваться в соответствии с корпоративными политиками клиента. Кроме того, наша платформа ориентирована на работу с моделями с открытыми весами и собственными источниками данных клиента. Это снижает зависимость от внешних API, таких как OpenAI, Anthropic или Google.

Местная юрисдикция De Novo означает, что клиенты работают в рамках украинского правового поля. Кроме того, в решении вопросов клиентов нашей техподдержке нет равных — ни по времени реагирования, ни по глубине понимания архитектуры и процессов. Также De Novo имеет целый ряд международных и украинских сертификатов по безопасности данных и управлению процессами — КСЗИ, ISO/IEC 27701:2019, ISO/IEC 27001:2022 и многие другие. Ежегодно наше облако и дата-центры проходят десятки независимых аудитов.

Какой следующий этап развития AI Studio?

Самое важное направление для нас сейчас — агентные сценарии и инференс в продуктивной среде. Рынок быстро переходит от простых чат-ботов, которые лишь отвечают на вопросы, к решениям, которые могут выполнять конкретные действия и сценарии, например анализировать документы или взаимодействовать с внутренними системами через API. Именно здесь GenAI формирует для бизнеса практическую ценность.

Второе направление — готовые отраслевые шаблоны для украинского рынка. Мы хотим, чтобы заказчик мог запускать понятный сценарий, например AI-помощника для юристов или аналитика продаж, существенно сокращая себе путь от идеи до рабочего прототипа и дальше до продуктивного использования.

Также важно развивать интеграцию с корпоративными системами. Если AI-сервис живет отдельно от других важных систем заказчика — документооборота, CRM, внутренних порталов, — его польза ограничена. Настоящая ценность появляется тогда, когда модель работает внутри бизнес-процесса и имеет доступ к разрешенным источникам данных.

Если говорить шире, то в Украине уже есть технологическая база для практического внедрения GenAI почти во всех возможных сценариях, без критической зависимости от иностранных платформ. Глобальные модели останутся важной частью рынка, но для местного бизнеса и особенно государственного сектора все более важными становятся контроль данных, локальная ответственность и, не в последнюю очередь, прогнозируемая стоимость. Именно в этой логике мы работаем дальше и развиваем наши AI-продукты.

Кстати, чтобы не ограничиваться только словами — приглашаем вас протестировать AI Studio на собственных задачах!