Как выбор NVIDIA H200 и облака De Novo ускорил работу LLM до 10 раз
Рассказываем, какой прирост производительности может дать переход с NVIDIA H100 на H200 и при каких условиях украинский облачный оператор имеет преимущества перед гиперскейлерами
Компания Data Science UA уже десять лет разрабатывает AI/ML-решения для украинских и международных корпоративных заказчиков. Часть GPU-нагрузок компания размещает в облаке De Novo, где команда разработчиков протестировала различные ускорители на реальных задачах.
AI/ML-проекты требуют мощных GPU
Компания Data Science UA около десяти лет работает в сфере AI/ML и создаёт решения для украинских и международных компаний. Для разработки, тестирования и обучения больших языковых моделей (LLM) команде регулярно требуются значительные GPU-ресурсы. Часть нагрузок Data Science UA размещает в облаке De Novo. В частности, одна из таких задач требует до 25 млн токенов в час.
Когда NVIDIA H100 недостаточно
Над определённой задачей команда сначала работала с использованием GPU NVIDIA H100. Однако для некоторых крупных моделей производительности этой карты уже было недостаточно. Поэтому Data Science UA перешла на NVIDIA H200 — более мощный GPU с увеличенным объёмом и более высокой пропускной способностью памяти. В реальном проекте прирост производительности оказался значительно выше ожиданий.
До х10 быстрее на реальной нагрузке
При работе с моделью OpenAI GPT-OSS-120B производительность на H100 не удовлетворила команду. После переноса той же нагрузки на NVIDIA H200 скорость выполнения отдельных задач выросла до 10 раз. Это значительно больше, чем показывает разница в синтетических тестах, и хорошо иллюстрирует, почему GPU стоит оценивать именно на фактической нагрузке.
Как выбирали оператора
Data Science UA сравнивала три варианта: глобальные облака, европейских провайдеров и украинских операторов. Ключевыми критериями были:
- стоимость GPU-вычислений;
- возможность работать с чувствительными данными;
- соблюдение требований комплаенса;
- качество технической поддержки и скорость взаимодействия с оператором.
Почему De Novo
Услуги глобальных облачных операторов оказались значительно дороже предложений европейских и украинских игроков — для больших нагрузок разница была особенно ощутимой.
Европейские провайдеры могут быть конкурентоспособными по цене, однако перенос чувствительных данных за границу часто требует дополнительных согласований. Среди украинских операторов De Novo был выбран, в частности, благодаря технической экспертизе и качеству поддержки.
«В пользу De Novo сыграли экспертиза, профессионализм, а также оперативность работы технической поддержки» — Константин Черкашин, Solution Architect компании Data Science UA
Сейчас команда Data Science UA работает в облаке De Novo с NVIDIA H200 и может увеличивать GPU-ресурсы в зависимости от характера нагрузки.
Кейсы
Рассказываем, какой прирост производительности может дать переход с NVIDIA H100 на H200 и при каких условиях украинский облачный оператор имеет преимущества перед гиперскейлерами
Мін’юст України створює AI-асистента, який відповідатиме на правові питання 24/7. Проєкт працюватиме на LLM у захищеній хмарі De Novo
«17 тыс. объектов вне учета» — До конца текущего года Украина планирует обновить Единый туристический реестр
AI для проверки строительных проектов: как «цифровой инспектор» анализирует документы, выявляет ошибки и автоматизирует процессы в государственном секторе Украины
Сервис «єДозвіл» получил ИИ-модуль, который автоматически проверяет документы, снимая рутину с чиновников
Уникальная модель может изменить мировую кардиодиагностику. Работая на биосенсорах и мощностях NVIDIA H100, система проводит диагностику за минуты вместо часов
Это история о том, как искусственный интеллект помогает министерству проверять заявки на молодежные обмены: анализирует сметы, фильтрует размытые цели, выявляет необоснованные расходы и подсказывает, где стоит уточнить
Посетили за вас конференцию по AI, и сейчас рассказываем историю о том, как покупка дешевой камеры едва не сорвала проект по внедрению computer vision на предприятии. И это не единственное, что пошло не так
Слишком большие поля, слишком мало агрономов, слишком переменчивая погода. Может ли искусственный интеллект быть ответом? Kernel внедряет 12 ML-моделей — от прогноза фаз роста до агрологистики — и показывает, как трансформировать агробизнес с помощью данных
Министерство молодежи и спорта Украины запустило первый в стране сервис на базе больших языковых моделей (LLM) на платформе Дія.Engine. Для размещения LLM использовали самое мощное в Украине оборудование
Каждая компания проходит свой путь «цифровой трансформации» и в каждом случае он уникальный. Особенно, если речь идет об организации национального масштаба
Успех агропромышленной компании сегодня во многом зависит от информационных технологий. Повысить урожайность, оптимизировать логистику, добиться глубокой автоматизации рутинных операций и обеспечить полную мобильность сотрудников — все это возможно благодаря эффективному применению ИТ
О том, как, работает «цифровая трансформация» на конкретных примерах в государстве мы поговорили с Евгением Ентисом — человеком, без участия которого трудно представить успех таких проектов национального масштаба как Prozorro и «Нова митниця»
Интервью с Андреем Бегуновым, директором департамента информационных технологий банка ПУМБ, который входит в ТОП-7 банков Украины по объемам активов (данные НБУ)